הבית היה בן שתי קומות, בנוי בחלקו מאבן שחם, ייחודי מאוד בחזותו וצורתו החיצונית וכלל אולם מרכזי ובו 350 מקומות ישיבה, ספריה, חדרי קריאה ומשחקים, וריהוט מודרני. אל הקומה השנייה הוליכו מדרגות מעוצבות. באולם המבואה נבנתה בריכת דגים נאה. ולצידה מדרגות שהוליכו לקומה השנייה של הבניין.

טקס חנוכת בית פיליפ מוריי נערך ביום ב' 5 בספטמבר 1955. עיתון "דבר" בגיליונו למחרת (6.9.1955) דיווח על הטקס בעמודו הראשון של העיתון למעלה בידיעת ענק (במושגים של אז) תחת הכותרת "נחנך בית התרבות ע"ש פ. מוריי". בידיעה נאמר: "בית התרבות של ההסתדרות בקצה גבולה הדרומי של ישראל באילת על שם פיליפ מוריי נחנך אתמול אחר-הצהריים והדבר היה לחוויה לכל משתתפיו - ראשי ההסתדרות בארץ, נציגי פועלי אמריקה, שגריר ארצות הברית, נציגי העיתונות בארץ, ועיתונות חוץ לארץ ומאות מתושבי אילת...." לטקס חנוכת בית פיליפ מוריי הגיעה משלחת של ראשי ההסתדרות העובדים בישראל בראשות מזכיר ההסתדרות מרדכי נמיר, שגריר ארצות הברית בישראל אדוארד אולסון ומשלחת של נציגי האיגודים המקצועיים בארצות הברית שתרמו, כאמור, 100,000 דולר להקמת הבית. וכך מדווח עיתון דבר: "משהגיעה השיירה לאילת נתקבלה בכיבוד קל בבית החייל המרווח. ראש המועצה המקומית, חנוך ננר, אמר דברי ברכה קצרים לאורחים והודה על הבית המפואר, שהוענק לתושבי אילת בעזרת פועלי אמריקה. משם עברו האורחים למחצבת "אבן וסיד", ל"בית החלוצות" וראו את הישוב החדש המתפתח באילת. במזנון "תנובה" כובדו שוב במשקאות קרים ובפירות ובשעה 4 הגיעו אל בית התרבות על שם פיליפ מוריי. המזכיר הכללי של ההסתדרות מרדכי נמיר מסר את מפתח הבית לידי וולטר רותר, והוא פתח את הדלת הגדולה, הכבדה. הקהל הגדול של האורחים נדהמו והופתעו למראה הבניין הנהדר שנפתח לפניהם: אולם נרחב", חצר" מקורה בעלת מיבנה מקורי ונאה מאוד, אולם קריאה מהודר וספריה בקומה עליונה שעולים אליה בסולם מתוך "החצר". קהל של מאות נתכנס באולם הגדול לחגיגת חנוכת הבית על שם מוריי. לאחר נגינה של "חמישיית קמינסקי", פתח י. חסקין "שטיפל בענייני הקמת הבניין והביע תודה לבבית לאדריכלים חנה ואבא אלחנני, ל"סולל ובונה" ולמפעלי המשנה שלו "חמת" ו"חירות", למהנדסים למנהלים". כן נשאו דברי ברכה בטקס: מזכיר הסתדרות מרדכי נמיר, שגריר ארצות הברית בישראל, אדוארד לאוסון, וולטר רוטר מראשי האיגודים המקצועיים בארצות הברית, מושל מרילנד בארצות הברית, מק טלדין, א.טפר מזכיר מועצת פועלי אילת וראובן ברקת מנהל המחלקה המדינית בהסתדרות העובדים. בטקס הקריא מרדכי נמיר מזכיר ההסתדרות מכתב ברכה לאירוע של ראש הממשלה ושר החוץ דאז משה שרת, בו הוא "מביע צערו על כי נבצר ממנו בשל הצטברות עבודה דחופה עקב שעת החרום להשתתף בחנוכת בית ההסתדרות באילת". הטקס הסתיים בנגינת ההמנונים של ארצות הברית ושל ישראל. "לתשואות הקהל הסיר וולטר רותר את הלוט מעל תבליט נחושת גדול של פיליפ מוריי" דגלי תכלת לבן ואדום ודגלי ארצות הברית התנופפו ברוח העזה של אילת בעת שיצאו האורחים מן הבית ופנו אל מטוס "אל-על" שהסיעם ללוד אל מעבר לערבה המצפה למחיי שממתה". בערב נערך במבנה נשף חגיגי לתושבי אילת ובו הופיעו אמנים שהגיעו מתל אביב.

עברתי על ארכיוני עיתונים ישנים, כדי לראות אילו אירועים ואיזו סוגי פעילות נערכו בבית פיליפ מוריי לאורך שנותיו ובמיוחד בשנים עברו. במקום הוצגו באופן שוטף סרטים, ולמעשה אפשר לכנותו בית הקולנוע הראשון של אילת, ולפחות מהראשונים שבהם. מלבד סרטי קולנוע נערכו בו מופעי תרבות, כינוסים, חוגים והרצאות. כך למשל באוקטובר 1959 נערך במקום כנס נשים מטעם מפא"י באילת בהשתתפות ברכה חבס ודוד הכהן ו"מיכאלה בן יקיר" מועמדת מפא"י למועצת העיר. בבניין וברחבתו נערכו עצרות עם ואספות הסתדרותיות וממלכתיות מטעם מנהל ההסברה (מרכז ההסברה). בספטמבר 1956 ביום כיפור התקיימה בבית פליפ מוריי תפילת יום כיפור "בהשתתפות 300 מתפללים בהדרכת הרב אליהו קנדל". באוקטובר 1959 פנה סניף מפלגת "חירות" באילת למועצת פועלי אילת ליו"ר ועדת הבחירות המרכזית השופט העליון י.זוסמן במחאה על כי מועצת פועלי אילת מסרבת להשכיר לסניף מפלגת "חירות" את אולם פיליפ מוריי לשימוש הסניף. הפונים תבעו לאפשר להם לקיים פעילות בבית פיליפ מוריי. השופט זוסמן דחה בקשת מפלגת חרות ונימק החלטתו בכך, "שלא שוכנע שבעלי הבניין, מועצת פועלי אילת נוהגים להשכיר אותו". ותיקי העיר יודעים לספר כי במקום הופיעו בשנות ה-60 ואף בשנים מאוחרות יותר אמנים יידועי שם, ובהם חווה אלברשטיין, שמוליק קראוס, אריס סאן, אריק לביא, התרנגולים, הדודאים, הפרברים, ועוד רבים וטובים.

עיתון למרחב, מיום 3 בדצמבר 1959, מדווח כי שבועון מרכזי באילת בשם "השבוע באילת" פרסם כנגד מועצת פועלי אילת על כי השתלטה על בית פוליפ מוריי והפכה אותו למשרדיה תוך דחיקת וצימצום הפעילות התרבותית במקום. וכך צוטט השבועון האילתי בעיתון למרחב ואני מביא הדברים כלשונם: "למי ולמה נועד בית פיליפ מוריי באילת? בית פיליפ מוריי, שהוקם בשעתו כבית תרבות של אילת, הפך למקום של משרדי מועצת הפועלים, ש"גירשה" ממנו את כל הפעולות התרבותיות: הופסקו שיעורי הערב, המקהלה, החוגים לתיאטרון, ריקודי-עם, מוזיקה קלאסית וכן כל ההופעות האמנותיות. כל חדרי ההרצאות והחוגים נתפסו על-ידי מזכירי האגודות. במשך שנתיים אין לראות ב"בית פיליפ מוריי", אלא רק סרטים גרועים, ממכונות הקרנה גרועות. מועצת הפועלים הפרה את האימון שנתנו בה התורמים הנדבנים ותושבי העיר וגזלה מתושביה את הזכויות לחיי תרבות במקום".

בית פיליפ מוריי ממשיך לשמש כבית תרבות עד היום. בשלב מסוים לטשו גורמים נדל"ניים וכלכליים עיניהם במבנה ובשטח מתחמו הנמצא כאמור במקום מרכזי בעיר, והיה חשש כי ייהרס לטובת מגדל מגורים או פרויקט נדל"ני כזה או אחר. ככל הידוע לי הוכרז המבנה על-ידי עירית אילת כמבנה לשימור. ביקרתי לא מכבר בבית פיליפ מוריי. חזיתות קירותיו נשארו פחות או יותר כפי שהיו בעת שנפתח ב-1956-57 אולם פנים המבנה עבר לאורך השנים שינויים ושיפוצים למיניהם שפגעו במראהו ובצביונו המקורי היפה.