ישראל ינאי נולד בשנת 1914 בעיירה פראשקאו בפולין, בנם של צבי ושרה ינאיק. בגיל צעיר עבר עם הוריו ואחיו לגרמניה, לאחר שאביו צבי התקבל כשוחט ובודק בקהילה היהודית בברסלאו.
ישראל גדל בבית דתי ציוני, למד בבית הספר בברסלאו. בגיל 21 החל ללמוד מוזיקה בקונסרבטוריון בברסלאו. תוך לימודיו, בשנות העשרים המוקדמות שלו, החל ללמד עברית בבתים פרטיים בברסלאו. בין תלמידיו הייתה לאה לבית יוטקובסקי, שאביה אליעזר יוטקובסקי היה רופא ידוע ובעל שם בגרמניה. לימים תהפוך לאה יוטקובסקי לרעייתו של ישראל ינאי ולאם ילדיו.
לאה יוטקובסקי עלתה לארץ בשנת 1936 יחד עם אימה חיה-גרטה והן מתיישבות בתל אביב. אחותה של לאה, רחל אלדר ואחיה ישראל יוטקובסקי עלו לארץ זמן מה לפניהם. ישראל ינאי עלה ארצה "רק" בשנת 1938. עלייתו התעכבה עד לאותו שנה עקב רצונו לסיים לימודיו בבית המדרש לרבנים ובקונסרבטוריון.
בשנת 1938 ממש ברגע אחרון לפני סגירת שערי גרמניה ולמרות קשיים שהערימו הגרמנים, הצליח ישראל להשיג היתר עליה. לפני עלייתו קיבל הצעת עבודה מבית הכנסת "ישורון" בירושלים לבא ארצה ולשמש בעל קורא בבית כנסת יוקרתי זה. גם ללאה יוטקובסקי, אשתו לעתיד, ולאמה חיה גרטה יוטקובסקי "הייתה יד" בהשגת ההיתר לעליה ארצה ובקבלת המשרה בבית הכנסת ישורון בירושלים.
ישראל גדל כאמור בבית ציוני מובהק, אחיו הצעירים ממנו יעקב ינאי ז"ל, בלה ינאי ז"ל (ארליך) עלו ארצה כבר בשנת 1935-36 בהיותם נערים. אחות נוספת עברה בתום המלחמה למנצ'סטר שבאנגליה שם היא מתגוררת עד היום.
ישראל ינאי ולאה לבית יוטקובסקי נישאים ב-1940. החתונה נערכת בבית הכנסת "איחוד שיבת ציון" ברחוב בן יהודה בתל אביב השוכן עד היום באותו מקום. בלילה שלפני חתונתם הפציצו האיטלקים את תל אביב וישראל ינאי נפצע קל מהפצצה שהושלכה על ביתם. רבים ממוזמני החתונה שנערכה למחרת לא היו בחתונה בגלל השתתפותם בהלוויות שנערכו באותו יום.
בשנים 1940-42 גרו ישראל ולאה ינאי במושבה באר יעקב, שם נולדה בתם הבכורה שולמית. ישראל עבד כמורה בבאר יעקב. בשנת 1942 עקרו לבני-ברק וישראל עבר ללמד ב"בית הספר העממי "מזרחי" ברחוב העבודה בבני ברק, לימים נקרא בית ספר ממלכתי דתי מעלות. גם שם הרחוב שונה מרחוב העבודה לרחוב מימון. ינאי היה מחנך בעיקר בכיתות ז' וח'.
במקביל אחרי הצהרים לימד אנגלית בבית ספר "תלמוד תורה" ששכן ליד בית הכנסת המרכזי בבני ברק, ברחוב רבי עקיבא. בנוסף לאלה לימד נערים לקראת הבר מצוה לימוד הפטרות וכו'. הוריו של ישראל חוו את השואה. אביו צבי ינאיק היה במחנה בוכנוולד ואמו שרה ובתה (אחות של ישראל) היו במחנה שבויים. עם סיום המלחמה נסעו ללונדון ובשנת 1949 עלו ארצה עם בתם הקטנה והתיישבו בחיפה.