ב-1981 השתחרר מצה"ל, שב לקיבוץ והשתלב בעבודה בענפי החקלאות. זמן קצר לאחר מכן גויס לשירות מילואים ממושך (בתנאי איש קבע) לצורך מבצע משותף לשלדג וסיירת מטכ"ל. במהלך מלחמת לבנון הראשונה שימש כמפקד צוות בשלדג ולאחר מכן כמפקד פלגה ביחידה ובתפקידים אלו הוביל את לוחמיו בשורה של מבצעים מסווגים וקרבות, בהם כיבוש מתחם המוזיאון בעיר ביירות.
בתום המלחמה גויס לשירות קבע. על בסיס תפקודו כמפקד במהלך המלחמה הוענקה לו דרגת סרן, זאת על אף שלא עבר קורס קצינים. ב-1983 מונה למפקד פלגת המילואים בשלדג. בהמשך עבר לשירות בסיירת מטכ"ל וב-1985 מונה לסגן מפקד היחידה (מפקד היחידה באותה עת – משה 'בוגי' יעלון). ב-1987 השתחרר מצה"ל.
ב-1989 שב לשירות קבע ושימש כפרויקטור בסיירת מטכ"ל. ב-1991 עבר לשמש כמפקד גדוד רותם בחטיבת גבעתי וקודם לדרגת סגן-אלוף. ב-1992 מונה למפקד יחידת מגלן ובתפקיד זה הוביל את לוחמי היחידה במבצע "דין וחשבון" (1993). ב-1994 מונה למפקד עוצבת חצי האש (חטיבת חי"ר מילואים) וקודם לדרגת אלוף משנה. ב-1997 יצא ללימודים במכללה לביטחון לאומי.
בשנים 2000-1998 שימש כמפקד חטיבת הנח"ל; בשנים 2003-2001 שימש כמפקד עוצבת האש (אוגדת חי"ר מילואים) ועם מינויו לתפקיד קודם לדרגת תת-אלוף. בשנים 2005-2003 שימש כמפקד עוצבת הפלדה (אוגדת שריון סדירה). בתום תפקידו שובץ למספר תפקידי רוחב זמניים עד לקבלת תפקיד בדרגת אלוף, בהם: פרויקטור מטעם הרמטכ"ל לניהול קשרי קהילה עם הציבור הדתי לאומי בעקבות תכנית ההתנתקות. עם פרוץ מלחמת לבנון השנייה מונה לתפקיד עוזר ראש אגף מבצעים למבצעים מיוחדים ובתפקיד זה תכנן ויזם את הפעלת היחידות המיוחדות בשורה של מבצעים משולבים במהלך המלחמה.
בסוף 2006 הועלה לדרגת אלוף ומונה לראש אגף המבצעים. במהלך כהונתו יצא צה"ל למבצע "עופרת יצוקה" ברצועת עזה, כמו כן ביצע צה"ל את תקיפת הכור הגרעיני בסוריה ואת ההשתלטות על האוניה "מרמרה".
ב-2010 מונה לאלוף פיקוד דרום. במהלך כהונתו נמשך העימות בין ארגון חמאס ברצועת עזה ובין צה"ל, עימות אשר כלל ירי רקטות ומרגמות על יישובי עוטף עזה. ב-2012 הובילה החרפת העימות בין הצדדים לפתיחתו של מבצע "עמוד ענן". במהלך כהונתו התמודד צה"ל גם עם מספר אירועי טרור שמקורם בחצי האי סיני ובראשם המתקפה על רכבים בכביש 12.
ב-2013 סיים את תפקידו ובינואר 2014 פרש מצה"ל. לאחר שחרורו החל לשמש כיועץ אסטרטגי בחברת "SBM" העוסקת בשירותי ייעוץ בטחוני.
בשנים 2017-2015, במסגרת שירות מילואים, כיהן כמפקד במילואים של מפקדת העומק, האחראית על מערך היחידות המיוחדות בצה"ל.
בפברואר 2019, לקראת הבחירות לכנסת ה-21, שובץ במקום השני ברשימת מפלגת העבודה לכנסת, זאת לאחר ששוריין למיקום זה על ידי יושב-ראש המפלגה אבי גבאי.
במרץ 2019 הודיע יושב-ראש ועדת הבחירות המרכזית כי הוא בוחן את השאלה האם יש לפסול את התמודדותו בבחירות לכנסת מאחר ומעת שחרורו מצה"ל לא עבר הזמן הנדרש כתקופת צינון. בבסיס שאלה זו עמדה הטענה כי את תקופת הצינון יש לספור החל מ-2017 אז סיים שירות מילואים בן שנתיים בתנאי איש קבע ולא ממועד שחרורו מצבא קבע ב-2014. לאחר דיון בסוגיה וקבלת חוות דעת הודיע יושב-ראש ועדת הבחירות כי רוסו כשיר להתמודד בבחירות.
