מראשיתו שימש בית הכנסת הגדול לא רק כבית תפילה, אלא כמוקד חיים לאומיים: מקום שבו התקיימו טקסים, אירועים ציבוריים, נאומים ומפגשים בין מנהיגות רוחנית ומנהיגות עירונית. בתחילת דרכה של תל אביב התנהלו תפילות רבות בגימנסיה העברית הרצליה, שנבנתה במקום הגבוה ביותר בשכונת אחוזת בית, משום שבמקור לא הוקצה כלל מגרש לבית כנסת. רק עם התרחבות השכונה החלה היוזמה להקים בית כנסת ייעודי - תחילה ביהודה הלוי, ובהמשך במגרש שבאלנבי 110. כבר אז ליוותה את התכנון שאיפה לאחד את כל העדות בעיר. במכתב שנשלח לרב בקושטא נכתב כי הבית שיוקם "יהיה הראשון שבו יתפללו מהספרדים ומהאשכנזים... והקרע הרחב בין בתי האבות בישראל יתאחה". גם טקס יריית אבן הפינה בשנת 1921 שיקף את חשיבותו הציבורית: הקהל תרם כ־2,000 לירות מצריות, ובאירוע השתתפו הרב אברהם יצחק הכהן קוק, מאיר דיזנגוף ונכבדים רבים. בית הכנסת נתפס כמוסד עירוני־לאומי, לא רק כמוסד דתי.

בשנת 1913 נרכש מגרש ברחוב יהודה הלוי 13 לצורך בניית בית הכנסת. במקביל הוקם בצמוד אליו צריף עץ גדול ששימש מבנה תפילה זמני ובו מאות מקומות. מספר אדריכלים נדרשו לתכנון המבנה הקבע, אך אף תוכנית לא מומשה. ערב מלחמת העולם הראשונה עלה חשש שהמבנה החזוי יחסום את הדרך לנווה צדק, והוחלט לשקול מיקום חדש. לאחר המלחמה פנו היוזמים לאגודת "חברה חדשה" וביקשו שלושה מגרשים חלופיים. המגרש ביהודה הלוי נמכר, והמגרש הגדול באלנבי 110 נרכש בהדרגה עד שנת 1919. בראש המייסדים עמדו זלמן דוד לבונטין ומאיר דיזנגוף, ובראש ההנהלה ר' דוד צבי פנקס. ההחלטה להרחיב את המגרש באמצעות רכישת קרקע משני מגרשים סמוכים יצרה לבסוף את המתחם הרחב שעליו נבנה בית הכנסת הגדול.

המבנה תוכנן בשלבים. התוכנית הראשונית של האדריכל גדליהו וילבושביץ משנת 1919 כללה כיפה משושה ואולם במפלס אחד. אך במהלך הבנייה שונו פרטים אדריכליים מהותיים:

• האדריכל דב הרשקוביץ העניק לחזית מראה מודרני יותר עם קשתות חצי־עגולות;

• המהנדס ארפאד גוט פתר את בעיית הכיפה באמצעות כיפת פלדה קלה בציפוי נחושת;

• החזות החיצונית קיבלה השראה מבתי הכנסת העתיקים 'החורבה' ו'תפארת ישראל'.

תוך כדי תכנון השתתפו במלאכה האדריכלים מגידוביץ ושרנופולסקי, מן הבולטים בדורותיהם. אולם בשל עצירת בנייה ממושכת והתערבויות חוזרות, התוצאה הסופית שילבה כמה סגנונות: אוריינטלי, בזיליקלי ומודרני כאחד. עיצוב הפנים היה מרהיב: עבודות ויטראז' של זאב רבן עם מוטיבים של אריה, דקל, איילה וסמלי מזלות; נברשת מרכזית בדגם מזלות; כיסא כבוד לברון רוטשילד; ועמודים שנשאבו בהשראת "יכין ובועז". מאות מושבי עץ תאשור נבנו בידי בעלי מלאכה מקומיים, והקירות נצבעו בצבע ירקרק אופייני לתקופה.

לאחר השלמת הכיפה בינואר 1927 וחיזוק יסודות הבניין, נחנך בית הכנסת הגדול בטקס חגיגי ב־9 באפריל 1930. אלפים הגיעו מירושלים ומהמושבות, ובראשם ראשי הרבנים וראשי העיר. בנאומו בטקס הדגיש לבונטין: "לא בחרב ולא בחנית מפנים את השממון, כי אם במעדר ובמחרשה ובכסף רוכשים נחלה בצדק ובמשפט". בית הכנסת ניצב אז במרכז העיר המתפתחת, בין רחובות אלנבי, אחד העם, נחלת בנימין והר סיני. המדרגות הרחבות יצרו מבואת כניסה מונומנטלית, והמבנה הפך לנקודת ציון בולטת בנוף תל אביב.

בסוף שנות השישים הזדקק המבנה לחיזוקים הנדסיים. השיפוץ ב־1969, בתכנון האדריכלים אלחנני, נ. כנען ואהרון בן־גור, יצר מעטפת חדשה של עמודי בטון, גדרות וסבכות. התוצאה שינתה את חזות בית הכנסת מן היסוד — הכיפה הוסתרה, החזיתות הוצנעו והמבנה קיבל מראה קובייתי שאינו משקף את המקור. בתוך הבניין הותקנו מערכות מיזוג, בוצע בידוד אקוסטי, הוחלפו הריצופים והותקנו יצירות ויטראז' חדשות של האמן אברהם שדמי. על קיר הכניסה נקבעה יצירת קרמיקה של שרגא וייל, ולידה שעון בדגם 'החורבה' מאת האמן יגאל גלעד.

עם השנים הפך אזור אלנבי למרכז עסקים, וקהל המתפללים הצטמצם. אך בעשור האחרון החלה התחדשות קהילתית: תפילות נפתחות בכל ימות השבוע, נערכים קונצרטים, הרצאות וחופות, ובשנת 2021 התקבלה החלטה לשחזר את חזית המבנה לפי המראה המקורי משנות העשרים. בשנת 2014 מונה שלמה פיבקו לנשיא וליושב־ראש בית הכנסת והוביל שינוי מגמה שהחזיר את הציבור למקום. העבודות שנפתחו בימים אלו כוללות:

• הריסת המעטפת שנבנתה בשנות השבעים וגילוי המבנה המקורי;

• שימור יסודי של החזיתות ושל הכיפה;

• התאמת המבנה לצורכי הקהילה בעזרת פתרונות חדשניים;

• הוספת שטחים לשימושים משלימים כמו כיתות לימוד ומרכז מבקרים;

• שיקום הרחבה והפיכתה לכיכר עירונית פתוחה, מזמינה ומונגשת לכל הגילים.

בעירייה מגדירים זאת "הזדמנות להחזיר את בית הכנסת הגדול למעמדו ההיסטורי - וליצור מרחב ציבורי חדש בלב תל אביב".