המשטרה פתחה בחקירה לגילוי מבצעי רצח השומר גולדברג. והכריזה על פרס בסך 100 לא"י שינתן לכל מי שיסייע ויביא לגילוי רוצחו של יחיאל גולדברג. כעבור שבועות ספורים בתחילת אוגוסט 1947 נעצר כחשוד במעורבות בפריצה וברצח בנימין סמדרסמן צעיר ירושלמי בשנות ה-20 לחייו שהתגורר ברחוב בצלאל בעיר. כעבור כמה ימים נעצרו חמישה אנשים נוספים בחשד למעורבות בפרשה: ברוך סירוטה בן 30 מיפו האחים אהרון (צפניה) ורפאל שווילי, מרדכי פישר, וליאון פריימן בן 25 משכונת התקווה. שופט השלום בירושלים ע. ידיד לוי הוציא נגדם לבקשת המשטרה צו מעצר ל-15 יום כדי לחקור אותם.
ביום חמישי 11 בספטמבר 1947 הוגש כתב אישום. נגד בנימין סמדרסמן בגין רצח השומר גולדברג והתפרצות וגניבה, ואילו נגד ברוך סירוטה וליאון פריימן, בהעדר הוכחות מספיקות הוגשו כתבי אישום בגין סעיפי התפרצות וגניבה בלבד ללא סעיף רצח. נגד האחים שווילי ומרדכי פישר הוחלט לא להגיש כתב אישום.
התובע במשפט, אנטול רבינוביץ' הודיע כי אהרון שווילי הודה בחקירתו במשטרה בהשתתפות בשוד וכי הסכים להיות "עד מלך" (עד מדינה א.א) ולהעיד כנגד חבריו על כן הוסכם כי לא יוגש נגדו ונגד אחיו רפאל כתב אישום.
בעדותו במשפט סיפר אהרון שווילי כי הוא נהג ועובד בגן יבנה ומכיר כל הנאשמים ואת עסקיהם. לדבריו ב-14 ביולי פגש את בנימין סמדרסמן במלון "נביל" ביפו וזה הציע לו להשתתף בשוד בחנות אוריינט בירושלים .בהמשך הגיעו לפגישה במלון שאר הנאשמים. סמדרסמן הביא מכשירי פריצה שונים שהעד מזהה אותם בבית המשפט. בפגישה במלון "נביל" קבעו להיפגש בערב יום שני ה-14 ביולי בקפה זיכל ברחוב בן יהודה בירושלים. שנמצא לא רחוק מחנות "אוריינט". הם ישבו באותו ערב בקפה "זיכל" ו"אקספרסו" בחברת שתי צעירות.
לאחר חצות הגיעו חברי כנופיית הגנבים לחנות "אוריינט" ניסרו את החלון האחורי, טיפסו פנימה והחלו אורזים סחורה בשקים. אהרון שווילי סיפר בעדותו במשפט, כי ראה את השומר מתקרב כשהוא מאיר בפנס אל מול הבתים. הוא הזהיר את סמדרסמן שמישש את כיסו ואמר לו "סמוך"! כעבור דקות ספורות נשמעה צעקה "עמוד" ומיד לאחר מכן ירייה בודדת. מיד לאחר מכן נמלטו הפורצים מתוך החנות חלק התחבאו על הגג במבנה ואחר כך נמלטו. עד המדינה אהרון שווילי סיפר בעדותו כי כמה שעות לאחר הפריצה ל"אוריינט" כשנפגשו חברי כנופיית הגנבים במועדון "מנורה" הודה בפניו סמדרסמן כי הוא זה שירה בשומר גולדברג.
סנגורו של סמדרסמן עו"ד אברהם סלנט אמר לעד שווילי "כל מה שסיפרתה הוא שקר גס. עשית זאת כדי להציל את עורך" שווילי השיב לו: "אמרתי רק את האמת".
במשפט העידו קרוב ל-30 עדים ובהם עדות של רופא שלן באותה עת בירושלים ד"ר וילי היימן שסיפר בבית המשפט כי לשמע הירייה והצעקות התעורר משנתו וכשרץ החוצה מצא את שומר הלילה מתבוסס בדמו כשלידו חיילים. הוא ניסה להחיותו אולם הדופק של השומר נדם ופסק מלפעול. לדעתו של הרופא, השומר מת במקום .שכנים הזעיקו אמבולנס ולמקום הגיעו כוחות משטרה בריטיים.
עדות נוספת במשפט הייתה של פרץ אפשטיין שנעור אף הוא לשמע הירייה והצעקות הוא העיד: "ראיתי צעיר בגובה בנוני בהיר שער לובש מכנסי חאקי קצרים וחולצה כחולה רץ בכיוון למלון עדן"
יוסף רצבי, נהג מונית, שלדבריו "חלה שלושה ימים מרוב פחד" לאחר שהיה עד לרצח, סיפר, כי כאשר חזר למלון "מגדל" מעבודתו בשעה 3:30 לערך, ראה שני אנשים נאבקים, שמע ירייה וראה את השומר שהוא הכירו, נופל ארצה ובחור צעיר נמלט לכיוון מלון עדן. הוא נבהל ועלה מיד במדרגות בית המלון
במשפט העיד גם זאב שיקלר מנהל חברת "השומר" שאמר כי השומר היה מצויד במקל פנס ומשרוקית."לצערנו הרב אין מתירים נשיאת נשק לשומרנו העובדים במרכז העיר", אמר שיקלר.
עורכי הדין של ברוך סירוטה וליאון פריימן הנאשמים האחרים היו י. טוניק ומ.מזומבר ועורכי דין נוספים.