בנעוריו קיבל מתנה מדודתו גיטרה והחל ללמוד לנגן בה. כשהתגייס לצבא החל לשרת בחיל תותחנים. הוא לקח עימו את הגיטרה לצבא, ניגן ושר לחבר'ה ביחידה שהתלהבו משירתו. באחת ממסיבות גדוד התותחנים שליד הגייס שמע אותו שר שאול ביבר, אז קצין חינוך של חיל השריון ומייסד להקת גיסות השריון. ביבר כנראה התרשם מקולו של החייל וגבי הועבר כעבור זמן מה לשרת בלהקת גייסות השריון.
לא חלף זמן רב וברלין הפך לאחד מסולני הלהקה. ואף מונה למפקדה. בין השאר השתתף בתוכנית הלהקה "זמר לשריון" שהנפיקה את הלהיטים "בנצי השמן" "מה אמרו הציפורים" ועוד. יחד עימו בלהקה שירתו שוקי פורר לימים ראש עיריית רחובות, נורית הירש ועוד. לאחר שחרורו, בשנת 1963, החל ללמוד ביולוגיה באוניברסיטת תל אביב ועוד בטרם סיים לימודיו החל ללמד בבית ספר יסודי, מעורב, ביפו 'אשכולות'.
"הייתי מורה אחר, כזה שבהפסקות משחק עם התלמידים כדורגל ומקים חבורת זמר", סיפר גבי ברלין. במקביל לעבודתו כמורה בבית ספר אשכולות ביפו היה גבי חבר בלהקת 'רביעיית הטיילת', שהוקמה ב-1964 בניהולו המוסיקלי של רפי בן-משה, וכללה את גבי ברלין, אושיק לוי, חדוה עמרני ודוד טל (רוזנטל) ונוספים.
אחד מלהיטיה הידועים של הרביעייה הוא השיר הרומנטי שכתב יוסי גמזו "הלילה לטיילת". השיר מתחיל במילים "רוצה אותך הלילה לטיילת רוצה אותך הלילה אל החוף". הלהקה פעלה במשך כשנה, הוציאה תקליטון, ובשנת 1965 פורקה. לאחר מכן ב-1966 הצטרף ברלין ללהקה בשם "שבעת המינים" אותה הקימו דן בן־אמוץ וחיים חפר אך גם חייה של להקה זו היו קצרים והיא התפרקה כעבור זמן קצר.
בשנת 1966 התחתן ונולדו שתי בנותיו דנית ושירי.