הרב אלישיב נולד ב-1910 בליטא. ד"ר רמי ריינר מהחוג למחשבת ישראל באוניברסיטת בן-גוריון, שכתב על חייו ועל תפיסתו ההלכתית של הרב אלישיב, מספר שהאדם המשמעותי בחיי הרב אלישיב כילד היה סבו מצד אמו, המקובל רבי שלמה אלישיב, מחבר ספר הקבלה 'לשם שבו ואחלמה'. ראייתו של הסב נחלשה מאוד, והנכד היה יושב לצדו שעות ארוכות, מקריא לו מן הספרים שרצה וכותב את הטקסטים שהכתיב הסב. כשעלתה המשפחה לארץ, ב-1924, וכולם נדרשו להירשם בסרטיפיקט אחד ותחת שם אחד, אימצו כל בני המשפחה דווקא את שמו של הסבא מצד האם. למרות השפעת הסב, דווקא הקפיד הרב אלישיב כל ימיו שלא להידרש לספרות קבלית. במקרים המעטים שבהם ציטט בתשובותיו ההלכתיות ספרות קבלית, תמיד היה זה מכלי שני (ציטוט מפוסק קודם, או מדברי השואל עצמו), כאילו לו עצמו אין מושג בתחום זה.
בירושלים המשיך הרב אלישיב לשמש את סבו, ובו בזמן החל גם בלימוד עצמאי. האיש שיהיה לימים המנהיג הבלתי מעורער של כל עולם הישיבות היה אוטודידקט מובהק. מעולם לא למד בישיבה כלשהי, וכמובן גם לא עמד בראש ישיבה כלשהי (בכך המשיך מסורת של גדולי תורה נטולי מעמד מוסדי-פורמלי, כדוגמת החזון אי"ש). למעשה, מאז שעלה לארץ ועד לימיו האחרונים את עיקר תלמודו עשה הרב אלישיב באותו בית-כנסת קטן בגאולה, 'אוהל שרה'. הוא גם לא נחשב בעל חידושים פלפלניים בתלמוד. למעשה, השיעורים שהעביר נחשבו תמיד לבעלי אופי תורני בסיסי, "שיעורים לבעלי בתים" כפי שהם מכונים בעולם הישיבות. למעמדו זכה אפוא בשל התמסרותו המוחלטת ללימוד תורה, ובעיקר בשל יכולותיו כפוסק: גם בקי גדול בעולם ההלכה, וגם אינו נרתע מלפסוק בחדות ובאופן חד-משמעי במקום שבו אחרים נטו לספק ולדחיית הכרעות.
הרב אלישיב, לימים הפוסק המובהק של הציבור החרדי ומי שפסיקותיו הביאו ללא מעט עימותים עם רבני הציונות הדתית (בעיקר בתחום הגיור והשמיטה), החל את דרכו בעולם התורה הארצישראלי בלא נטייה לצד אידיאולוגי מובהק. באותם ימים רחוקים הוא היה מקורב מאוד לרב אברהם-יצחק הכהן קוק, שאף סייע בשידוכו וסידר את קידושיו לבתו של 'אבי האסירים', ר'
אריה לוין. הרב קוק היה גם הכהן שסידר את פדיון בנו בכורו של הרב אלישיב. הרב אברהם אבידן, לשעבר ראש ישיבת שעלבים ומבאי-ביתו של הרב אלישיב, סיפר פעם שגם בשנותיו המאוחרות, כשכבר היה מזוהה לגמרי עם הציבור החרדי, הקפיד הרב אלישיב ב
כבודו של הרב קוק וגער באלה שנטו לזלזל בו. עבורו, סיפר הרב אבידן, הרב קוק היה ונשאר 'הרב הירושלמי' – בה"א הידיעה, וביידיש.
גם קשריו התורניים האחרים של הרב אלישיב לא ביטאו זיקה אידיאולוגית מובהקת: מצד אחד היה מקורב לראש בית-הדין של העדה החרדית, הרב ראובן בנגיס, שאף הסמיך אותו לרבנות, ומצד שני היה מקורב מאוד גם לרב הראשי שהחליף את הרב קוק, הרב יצחק אייזיק הלוי הרצוג. הקשר בין הרב הרצוג ומשפחת אלישיב התחיל עוד בזמן הסבא המקובל, כשהרב הרצוג ביקש ממנו הדרכה בספרות הקבלה שבה לא היה בקי. הרב הרצוג, שרצה מאוד לקדם חוקה תורנית למדינה, ביקש ברוח זו לקדם ככל האפשר אנשי הלכה בעלי כתפיים הלכתיות רחבות, שיוכלו להעמיס עליהן את שאלות הציבור הגורליות. הוא זיהה ברב אלישיב (הנכד) יכולת כזו, ודאג לקדם אותו במהירות מטאורית לתפקידים חשובים: מיד לאחר מלחמת העצמאות מונה הרב אלישיב לרב העיר רמלה, כעבור שנים ספורות – לדיין בבית-הדין האזורי בירושלים, וכעבור עוד כמה שנים – לדיין בבית-הדין הרבני הגדול. בכל אותן שנים הוא היה גם אורח קבוע בפורום הרבני שכינס הרב הרצוג בביתו מדי יום שישי, לצד רבנים ותיקים בהרבה. הרב הרצוג גם נהג להפנות אליו שאלות סבוכות, שבפתרונן התקשה בעצמו.