אליהו גולומב נפטר פתע בבוקר ה-11 ביוני 1945 בביתו בתל אביב והוא בן 52 במותו. בערב שלפני פטירתו השתתף במסיבת קבלת הפנים לחיילים המשוחררים שנערכה בחצר גימנסיה הרצליה בתל אביב, אחר כך ביקר במערכת "דבר" וחזר לביתו. בסביבות השעה 2 בלילה הרגיש כאב חזק.
רופאו ד"ר פלר הוזעק לביתו הגיש לו עזרה ומצבו הוטב. עם עלות השחר לקה בהתקף לב קשה ומותו נקבע סמוך לשעה שבע בבוקר. במשך כל היום ארונו הוצב בבית בשדרות רוטשילד 23 בתל אביב ורק בשעה שבע בערב הועבר הארון לבית הוועד הפועל של ההסתדרות. הלוויתו נערכה רק למחרת ביום שלישי 12 ביוני 1945.
בעיתונות דאז מדווח כי חוגים דתיים מחו על כך שגופתו של גולומב הוצבה בבית במשך שעות היום בגילוי פנים ועל כך שהלוויתו לא נערכה בו ביום אלא רק למחרת (הלנת המת) ועל כך שד"ר משה סנה הספיד את המנוח ליד העירייה בגילוי ראש.
אבל כבד ירד על הישוב עם היודע דבר מותו של אליהו גולומב. ברחבי הארץ נערכו אסיפות אבל ."הייתה זו אבדה קשה לארגון ההגנה ולישוב היהודי כולו", מספרת ענבר שלם מנהלת מוזאון ה"הגנה". משה שרת ספד לו: "אני רואה לפני אילן עמוק שורשים שנעקר פתאום על סבך שורשיו ונפערה עם עקירתו שוחה עמוקה".
יעל מדיני בתו של משה שרת מספרת כי אביה קיבל בצורה קשה ובכאב גדול את מותו של אליהו גולומב גיסו, חבר נפש שלו מאז נעוריהם בגימנסיה "הרצליה". יום מותו של אליהו גולומב חרוט בזיכרונה. מספרת יעל: "ביום שני, ל' בסיוון תש"ה, 1945, צלצל הטלפון בביתנו בירושלים בארבע לפנות בוקר. שמעתי שאבא מדבר בו קצרות ואחר-כך אומר לאימא שהייתה זאת עדה שאמרה שאליהו לא מרגיש טוב.
בשש בבוקר צלצל הטלפון בשנית. הפעם דיבר אבא בטלפון קצרות עוד יותר ואז אמר לאמא שהיה זה דיקה - הדודן דב שרתוק שגר בקומה השנייה של הבית בתל אביב - שאמר לו... אימא פרצה בצעקה נוראה ואבא נכנס אלינו לחדר הילדים, התנפל על מיטת חיים אחי הצעיר וגעה בבכי כילד קטן.
האמנתי ולא האמנתי. האמנם? אליהו דודי אהובי? קמתי מהמיטה והלכתי לאמא. התחבקנו. הייתי אז בת חמש-עשרה. שעה קצרה אחר-כך היינו ארבעתנו - אבא ואמא וחיים ואני - ברכב היורד לתל אביב. בבואנו לשדרות 23 - שכך כינינו את בית המשפחה - המתה החצר הקדמית אדם. נכנסנו הביתה פנימה. עדה התכנסה בזרועות אבא ואמא. אחר-כך התנשקנו איתה כולנו ועם "ממה" (פניה שרתוק א.א).
אליהו שכב במיטתו. אימא אמרה לי לגשת אליו ולנשקו במצחו. עשיתי כדבריה. אמרה לי לגשת אליו ולנשקו במצחו. עשיתי כדבריה. בבית היו שני הבנים - דודיק (דוד) והרי. דקלה (דיק) הייתה אז במנרה, תמר(הוז) תמיק - שזה היה ביתה מאז התייתמה מהוריה דב ורבקה הוז חמש שנים קודם לכן באסון המשפחתי הייתה אז בגינוסר, דליה (דליקה) הייתה אז באפיקים.
אריה בהיר חבר אפיקים אסף אותן אחת-אחת ברכבו וכעבור מספר שעות נכנסו שלושתן לשדרות 23" . אליהו מצא את מנוחתו האחרונה בבית הקברות ההיסטורי ברחוב טרומפלדור לצד קברי בני המשפחה דב ורבקה ותרצה הוז ואורה בורודובסקי, סמוך לקברי אחד העם וביאליק ורבניצקי. לימים נטמנו לידם עדה שרתוק-גולומב ומשה וצפורה שרת.