סיפורו של מושב כרמון מתחיל ב-1950 במחנה העולים בפרדס חנה. במחנה התגוררה באותן שנים קבוצת עולים מבוגרים יוצאי רומניה בגיל 70-50 (שנחשבו אז קשישים) שלא היה במה להעסיק אותם. העולים המבוגרים טענו שברומניה עבדו בכרמים ובתעשיית היין ובענפי חקלאות אחרים ואינם רוצים לחיות על חסדי מחנה העולים.
הם פנו לתנועת המושבים ולסוכנות היהודית בבקשה שיאשרו להם הקמת ישוב חקלאי, מעין כפר כורמים שיעסוק בין השאר בגידול גפנים ובייצור ושיווק יין. השמועה על יסוד המושב פשטה במחנה העולים בפרדס חנה וכמה מיושבי המחנה ביקשו להצטרף.
בתחילת 1952 התבשרו אנשי קבוצת העולים על-ידי הגורמים המיישבים כי אושר להם להתיישב באדמות הנטושות של הכפר הערבי ג'וליס (ליד צומת הודיה) במטרה לשקם את הכרמים הנטושים והעזובים שם ולפתח שם משק יין ומשק חקלאי. מדי כמה שבועות הגיעו חלק מהעולים לשטח האדמה המיועד להקמת המושב סיירו בשטח, מיששו את הגפנים בכרמים שהערבים נטשו ועקבו מקרוב אחר עבודות התשתית להקמת המושב החדש.
ביום שלישי 30 בספטמבר 1952, י"א בתשרי תשי"ג, יום לאחר יום כיפורים, בשעות הצהרים, עלו מתיישבי המושב החדש על הקרקע. הם הביאו איתם את מטלטליהם והחלו להתארגן במושב החדש. בערבו של היום נערך במקום טקס עליה לקרקע בהשתתפות נציגי מוסדות ההתיישבות וחברי ישובים מיישובי האזור, ונולד ישוב חדש ושם נקבע לו "כפר הכורמים".
הייתה זו אולי אחת הפעמים הראשונות בתולדות ההתיישבות בארץ שמוקם ישוב שכולו, או כמעט כולו, מורכב מחברים מבוגרים בני 50 עד 70 ואף יותר. הסוכנות היהודית הקצתה להקמת המושב כ-300,000 לירות והמושב הוקם על משבצת קרקע של 1,500 דונם.
הונח קו מים ארעי והמקום גודר. בתחילה הוקמו אוהלים וכעבור כחודש עברו המתיישבים לצריפים שהם הקימו במו ידיהם. היו אלה צריפים בגודל כ-40 מ"ר. הצריף הכיל חדר ומטבחון קטן. שירותים ומקלחת היו מחוץ לצריף. כמו-כן הוקמו מבני ציבור. ראשון מבני הציבור במושב היה מבנה צרכנייה שהופעלה על-ידי "המשביר המרכזי" ומכרה מוצרים בסיסים.
בהמשך הוקמו בית כנסת שהכיל ארון קודש ובו שני ספרי תורה, ומרפאה אליה הגיעה פעם בשבוע אחות מאשקלון. במקרים רפואים דחופים פונו תושבים בעגלה עם סוס למרפאה בקיבוץ נגבה הסמוך. כמו-כן הוקם במושב מקלט ששימש גם כמחסן נשק. על-פי דיווח העיתונות דאז, באמצע שנות החמישים התגוררו במושב כרמון 115 תושבים, מתוכם 12 ילדים. במאי 1953 כשנה לאחר הקמת הישוב שונה שמו בהחלטת ועדת השמות הממשלתית מכפר הכורמים לכרמון.