ההסתדרות כידוע הוקמה בשלהי 1920. עד הקמת המבנה הנוכחי ברחוב ארלוזורוב נדדו משרדי הוועד הפועל של ההסתדרות, מוסדותיה ומחלקותיה בין בתים שונים בעיקר בתל אביב. בראשית ימי הוועד הפועל, בשנת 1921 הוא שכן בחדר קטן ברחוב קלישר בתל אביב. בשנת 1926 "שודרג" ועבר לדירה בת 4 חדרים בשדרות רוטשילד 2 בתל אביב, ובשנת 1933 עבר לבניין ברחוב אלנבי 115 בסמוך לשדרות רוטשילד אשר שימש את הוועד הפועל משך 20 שנים. מדריך הסיור אורן דגן מספר כי בשנת 1946 רכשה ההסתדרות מקבוצת נהגי דן את שטח מתחם בית ועד הפועל הנוכחי ברחוב ארלוזורוב שהיה אז שטח נטוש, שומם, סמוך לכפר הערבי סומייל. נהגי דן תכננו לבנות במקום שכונת מגורים אולם הדבר לא הסתייע מסיבות שונות והם מכרו את השטח להסתדרות. לימים, מן הסתם, יצטערו על החלטתם זו, שכן ערך הקרקע במקום ובסביבה עלה מאוד עם השנים והקרקע באזור נחשבת כיום ליקרה מאד. תכנון מתחם הוועד הפועל ברחוב ארלוזורוב החל בשנת 1949. הבנייה החלה כשנה לאחר מכן ב-1950. השלב הראשון של הבנייה הסתיים ב-1953. בניית המתחם נמשכה כשש שנים לערך והושלמה למעשה רק ב-1956. את הבניין תכנן דב כרמי, לימים חתן פרס ישראל לאדריכלות בשיתוף צוות האדריכלים: יצחק ישר, צבי מלצר, מלכיאל קוטלביץ', מריאן גרינהאוז, יצחק משה לבקוביץ', מאיר צרפתי ומארק פינטל.

הבניין הענק נפתח נחנך רשמית ב-1 ביולי 1953 בטקס מרשים בהשתתפות קהל של אלפי אורחים ומוזמנים ובהם ראשי המדינה: נשיא המדינה יצחק בן צבי ורעייתו רחל ינאית, ראש הממשלה דוד בן-גוריון, יו"ר הכנסת יוסף שפרינצק ורעייתו, שרים חברי הנהלת הסוכנות, עיתונאים ועוד. מזכיר ההסתדרות מרדכי נמיר סקר בדברי ברכתו בטקס את סיפור ושלבי הקמתו של בית הוועד הפועל החדש בארלוזורוב ומסר כי בהקמתו הושקעו כמיליון ורבע ל"י. .המגרש נרכש לפני 6 שנים (1946-7 א.א) בסכום של 100 אלף ל"י. הבנייה התחילה ב-1950. בבניין 302 חדרים ארבעה אולמי ישיבות ועברו לשכון בו ובמבנים שבמתחו 15מוסדות ההסתדרות, ובהם לשכת המס המרכזית, איגוד פועלי הבניין, משען ועוד. הבניין החדש בארלוזורוב היה מפואר מאוד במושגים של אז. "הפאר המוגזם" כנראה לא מצא חן בעיניו של ראש הממשלה דאז דוד בן-גוריון והוא ביטא זאת בדברים שנשא בטקס חנוכת הבניין החדש כשאמר "לו הייתי נשאר חבר הוועד של ההסתדרות לא הייתם בונים את הבניין הזה בלי לריב איתי..." שרת העבודה גולדה מאיר העלתה בדברים שנשאה בטקס זיכרונות מהבניין הישן באלנבי. בחלק האמנותי הופיעו התזמורת הפילהרמונית הישראלית שניגנה את אגמונט של בטהובן, "מכורתי" לסאמנטה ו"עמק" של מרק לברי. מקהלת צדיקוב בניצוחו של י.אבגדיש שרה משירי ארץ ישראל, והגב' חנה רובינא קראה פרקי שירה. כ-5,000 איש השתתפו באירוע, כך דווח בעיתונות דאז, והוא הסתיים בשירת "התקווה".

בית הוועד הפועל בארלוזורוב נחשב בזמנו לאחד ממבני המשרדים הגדולים בארץ אם לא הגדול שבהם. מתחמו כולל בניין ראשי ושלושה מבנים המקבילים לו ובחזיתם גן, עם מדשאה רחבת ידיים שתכנן במקור אדריכל הגנים יצחק קוטנר. הגינה שימשה במשך השנים כמקום כינוס לעובדים וגם לצורכי עצרות מחאה. הבניין המרכזי הוא בן שמונה קומות באגפו המערבי ושבע קומות באגפו המזרחי. בנוי בסגנון ברוטליסטי תוך שימוש בבטון חשוף. סגנון זה בא לשדר פשטות וצניעות לצד עצמה. החומרים שהשתמשו בהם לבניין הם כמעט כולם על טהרת תוצרת הארץ. בבנין נעשה שימוש בלוחות בטון יצוקות מראש שהורכבו בקיר בצורה "קשקשית", בנייה השוברת את קרני השמש, חוסכת טיח ומאפשרת ויתור על חלונות תריס. כבר מראשית פעילותו בשנות ה-50 פעלו בבניין שתי מעליות שהובילו לקומה העליונה כשכל מעלית יכולה להכיל 15-12 איש. יצוין כי מעליות בשנות ה-50 בתל אביב היו דבר לא שגרתי. ובניין בן 8-7 קומות בתחילת שנות ה-50 נחשב לבניין גבוה מאד. עד לפתיחתו של בית הוועד הפועל בארלוזורוב היו מפוזרים מחלקות הוועד הפועל במספר מקומות בתל אביב והסביבה. משרדי הוועד הפועל הראשיים היו מרוכזים בבניין ברחוב אלנבי 115 ליד רחוב רוטשילד, בניין בו שכן בעבר בשנים 1929-1926 בית מלון (מלון הרצליה, א.א). המבנה באלנבי 115 שימש גם משכנה של מפקדת ההגנה הארצית בשנות ה-30 של המאה ה-20. עם פתיחתו של הבית הובא למקום גנרטור חשמלי מיוחד למקרה של הפסקת חשמל ופעלו ובו 25 קווי טלפון שקישרו את הבניין עם גורמים חיצוניים. בתוך הבניין משתרעים מסדרונות ארוכים ולצידם חדרי עבודה לרוב. הבניין הכיל בשעתו בעת פתיחתו 302 חדרים רובם חדרים קטנים יחסית בגודל 2.5 מטרים על 4.3. חדרו של מזכיר ההסתדרות בקומה החמישית היה הגדול מבין חדרי העבודה בבניין. עם השנים נעשו שינויים בבנין בגודלם של החדרים וביעודם על־פי הצורך. מרתף הבניין שימש לארכיון, למחסנים, ולמקלט. בקומה העליונה שכנה מסעדה - קפיטריה לכ-200 סועדים. בקומה ה-7 של הבניין מוקם אולם הישיבות שבו ערוכים הכסאות בחצי גורן. כיום נקרא אולם בינ"ה, בית נבחרי ההסתדרות, ויש המכנים אותו "משכן הכנסת" של נבחרי ההסתדרות.

הבניין הוקף לאורך השנים בחומת גדר וכדי להיכנס למתחם הוועד הפועל היית צריך לעבור דרך שומר שהוצב בביתן חדר שמירה בכניסה הראשית לבניין מרחוב ארלוזורוב. רבים מתושבי תל אביב לא חיבבו את הבניין והגדירו אותו כבניין מכוער, מפחיד ומדכא, המשדר ריחוק, ניתוק, עסקנות וביורוקרטיה. היו שכינו אותו "הקרמלין" בשל חזותו הסובייטית ובשל הדגלים האדומים שהונפו מעליו וברחבה שלפניו בימי ה-1 במאי ובאירועי וטקסי ההסתדרות למיניהן. על הבניין התהלכו בדיחות למכביר. אחת הבדיחות מספרת על אריה שנכנס לבניין ההסתדרות והחל לטרוף פקידים, ולא הרגישו בכך עד שטרף את מחלק התה. וכמובן ידוע ומפורסם המערכון מאת אפרים קישון, בו מעיר פוקס את שכנו שטוכס כדי לבשר לו בשמחה שהבניין הסמוך, הוא בית הוועד הפועל של ההסתדרות, פוצץ בלילה. את המערכון הקליטו שמוליק סגל ושמואל רודנסקי. הבדיחות והמערכון ביטאו את דעת הקהל הציבורית בזמנו על בניין הוועד הפועל ועל פקידיו - "שותי התה הבטלים שלא עושים דבר". כמובן שזו רק תדמית.

העיתונות דאז כינתה לא פעם את הבניין "ארמון הפועלים". בחצר הבניין בשטח מדשאת גן ההסתדרות נערכו לעיתים קרובות הפגנות, שביתות מחאה ועצרות הסתדרותיות למיניהן. מכאן יצאו לא פעם תהלוכות ה-1 במאי ברחובות תל אביב. כמו-כן יצאו מכאן או שעברו דרך המתחם הלוויותיהם של אישים הקשורים להסתדרות או מפא"י בדרכם האחרונה. בכניסה לבניין ועד הפועל היו לאורך השנים מספר שביתות שבת של פועלים כנגד פיטוריהם או פגיעה בפרנסתם. כך למשל, בדצמבר 1960 ארבע משפחות המונות 34 נפשות מראש העין ערכו שביתת שבת בכניסה לבית הוועד הפועל, כמחאה על שראשי המשפחה פוטרו מעבודה בחברת מקורות. ב-1965 שבת ר.עזיז תושב אשקלון עם אשתו ושבעת ילדיו במחאה על פיטוריו מהסוכנות. ב-1966 שבתו נהגי חוף אשקלון בטענה לקיפוח עבודתם באזור מגוריהם ועל כך ששוללים מהם אפשרות מחיה וזאת על-רקע אפליה עדתית. בשנותיו הראשונות של בניין הוועד הפועל היו לפחות שני מקרים של אנשים ששמו קץ לחייהם בקפיצה מקומותיו העליונות. במרס 1953 גבר בן 30 קפץ מגג בית ועד הפועל ונמצא מוטל על הקרקע ללא הכרה בסמוך למבנה. הוא הובהל לבית החולים שם נקבע מותו. ביולי 1954 שם קץ לחיו ש.ל בן 47 מחוסר עבודה מקריית שלום בקפיצה מגג בית הוועד הפועל.

לא רבים יודעים כי בתוך הבניין יש יצירות אומנות, כמו פסלים של בן-גוריון ושל ברל כצנלסון. בלובי יש עבודת מתכת דקורטיבית שבה נראים פועלים במלאכתם, של האמן שלום סבא. מסתבר, כי ההסתדרות העובדים בא"י נהגה בעבר במשך שנים לרכוש יצירות אמנות של פסלים וציירים שונים כחלק מסיוע ותמיכה ב"עובד העמל". ביקרתי לא פעם בבניין ההסתדרות. אני זוכר שלפני מספר שנים לא רב בקומת הכניסה של בית הוועד הפועל של ההסתדרות (סמוך לדלפק המודיעין) שכן פסל "מנורת שבעת הקנים" - פסל עץ דמוי מנורה, פרי יצירתה של הפסלת הנודעת בתיה לישנסקי משנת 1937 אך בביקורי האחרון בבית הוועד הפועל לא מצאתי יצירה זו. ייתכן שהועברה למקום אחר בבניין. לפני ארבע שנים בשנת 2020, שנת המאה להיווסדה של ההסתדרות הוסרו הגדרות שהקיפו את המתחם במשך עשרות שנים לטובת גינה ציבורית שנקראת "גן ההסתדרות" שהקימה ההסתדרות בשיתוף עיריית תל אביב-יפו. בגינה נערכים מידי פעם אירועי תרבות ומופעי זמר הפתוחים לציבור הרחב.