אולם ההתפתחות המשמעותית ביותר, הייתה כמובן ברחוב אלנבי, שזה אך קיבל את שמו החדש בנוכחות המצביע הבריטי שכבר את ארץ ישראל מידי הטורקים. במפגש של רחוב אלנבי עם כרם התימנים, החל להתפתח באותו זמן שוק שנקרא בפי כל "שוק הכרם". השוק נשק לרחוב קטן ושקט בשם הכרמל, שחיבר הצד הדרומי שלו בין תל אביב ליפו. "שוק הכרם" הקטן והבלתי מסודר, הפך ברבות הימים לשוק הכרמל.
כחמש שנים פעל "שוק הכרם" עד שדיזנגוף החליט לשים לעניין סוף. היו אלה חמש שנים של זוהמה סביבתית. דוחק, לכלוך ובעיקר רוגז רב של תושבי העיר גם על המחירים הגבוהים שנאלצו לשלם מידי פעם לסוחרים. באותה תקופה רכשה עיריית תל אביב יחד עם חברת גאולה שטח אדמה בסמוך, דרומי יותר לכיוון יפו, שנקרא פארק בדרני. דיזנגוף החליט לנצל את ההזדמנות להביא להקמתו של שוק עירוני מסודר היטב בשטח החדש. ב-4 בנובמבר 1924 פנה בכתב ראש עיריית תל אביב מאיר דיזנגוף לאדריכל העירייה הרשקוביץ וביקש ממנו לתכנן עבור העירייה שוק חדש מסודר ומהודר. וכך כתב לו דיזנגוף בין היתר: "כבודו יודע שאצלנו יש החלטה מזמן לסדר שוק חדש על המגרשים השייכים לעירייה ולגאולה בשותפות והנמצאים בסביבות הראינוע עדן. היות ואוכלוסי תל אביב הולכים ומתגדלים ובשוקים יש דחק גדול, הנני מבקש את כבודו להכין לנו תוכנית של השוק החדש הזה בכדי שנוכל להחליט בישיבה של הועד הפועל הקרובה בגן השוק הזה".
תוך זמן קצר הוכנו התוכניות נקבע שבשוק החדש, ששמו נקבע כ"שוק הכרמל", יהיו 64 מקומות קבועים ועוד 20 מקומות זמניים. סוכם בעירייה להציע לכל בעלי הדוכנים בשוק הכרם, אותו ביקשה העירייה לסגור לאלתר, להשתתף בשוק החדש. כמו-כן פנתה לסוחרים נוספים וביקשה מהם להשתתף בהגרלה לזכייה בקבלת דוכן, כמובן תמורת תשלום ראשוני הגון וזאת פרט לדמי שכירות בסך 750 מיל עד לירה אחת מדי חודש. השוק חולק לאזורים שונים מקומות למכירת דגים, עופות חיים ושחוטים, ירקות ופירות לחם וקונדיטוריה.
אולם הדברים נעשו לאט ושוק הכרם המשיך להתפתח ולגרום לאזור מפגע סביבתי של ממש. ב-1 בדצמבר 1925 פנה המפקח העירוני ממשרד המשטרה לראש העירייה וקבל בפניו על המצב הבלתי נסבל של השוק: "הננו להפנות את תשומת לב כבודו הרצינית למצב הבלתי אפשרי השורר בשווקים בתל אביב בכלל ובשוק הכרם בפרט. לא ארבה לדבר על הצפיפות, הדחק, אי הנעימות לקהל וחוסר האפשרות לשמור על הניקיון המופתי בשווקים..... אני מדגיש בפעם יתרה על רצינות המצב ומבקש צעדים מהירים לפתרון חלקי או שלם של השאלה הזו", כתב המפקח המשטרתי.