ב-1941, בגיל 19, היה רבין מראשוני המצטרפים לפלמ"ח, שהוקם כידוע במאי באותה שנה. הוא השתלב בו בפעילות מבצעית ובתפקידי פיקוד והדרכה. בשנת 1945, בגיל 23, התמנה לסגן מפקד הגדוד הראשון של הפלמ"ח.
במבצע לשחרור המעפילים במחנה המעצר בעתלית, באוקטובר 1945 עמד בראש הכוח הפורץ. בתקופת המאבק בבריטים ב"שבת השחורה" ביוני 1946 נעצר על-ידי הבריטים והועבר למחנה רפיח. עם שחרורו לאחר חמש חודשי מעצר השתלב כמפקד באימון הפלמ"ח לקראת אפשרות של מלחמה.
במלחמת העצמאות והוא בן 25 עמד בראשה של חטיבת הראל, שבין יתר מבצעיה, שמרה על פרוזדור ירושלים ואבטחה שיירות בדרכן לבירה.
במהלך מלחמת העצמאות באוגוסט 1948 נשא רבין לאשה את לאה שלוסברג, אותה פגש לראשונה ביום קיץ של שנת 1943, ליד דוכני גלידת "ויטמן" ברחוב אלנבי בתל אביב כשהייתה עדיין תלמידת תיכון חדש בתל אביב.
לאה, ילידת קניגסברג שבגרמניה, עלתה לארץ ישראל ב-1933 עם הוריה חיים (הרמן) וגוסטה שלוסברג בגיל חמש, ומאז התגוררה בתל אביב. לאחר שנישאו התגוררו בדירת הוריה של לאה בשדרות רוטשילד פינת כרמיה בתל אביב ושם נולדה בתם דליה. רק כעבור ארבע שנים עברו לשיכון צבא קבע בצהלה, שם נולד בנם יובל.
כקצין המבצעים של חזית הדרום היה רבין שותף בתכנון המבצעים הגדולים למיגור הצבא המצרי ולשחרור הנגב. בזמן ההפוגה הראשונה נקלע רבין במקרה למטה הפלמ"ח שנמצא במלון ריץ, מרחק קצר מחוף תל אביב, בעת שעלתה מולו הספינה אלטלנה על שרטון והיה ממפקדי כוח ההגנה שביצע את הוראתו של בן-גוריון לירות לעבר הספינה אם לא תיכנע.
לאחר ההפוגה היה רבין סגן מפקד מבצע דני, שבמהלכו נכבשו הערים רמלה ולוד. לקראת תום המלחמה ב-1949 השתתף סגן אלוף יצחק רבין כנציג פיקוד הדרום בשיחות שביתת הנשק בין ישראל למצרים במלון השושנים ( "דה רוזס") באי רודוס. רבין ביקר את הנכונות הישראלית לפירוז אזור ניצנה. הוא טען שישראל ויתרה למצרים יתר על המידה, הוא שב לישראל לפני חתימת ההסכם, וביקש שלא להיות חתום על ההסכם.