בשנת 1952, כאשר חזר פרס לארץ, הוא מונה לממלא-מקום מנכ"ל משרד הביטחון, ושנה לאחר מכן מונה למנכ"ל המשרד. במסגרת תפקיד זה הסתכסך עם שר הביטחון דאז, פנחס לבון, שאף תבע את פיטוריו, וחיזק את קשריו עם ראש ה
ממשלה,
דוד בן-גוריון, והרמטכ"ל דאז משה דיין. היחסים העכורים בין פרס ללבון הגיעו לשיאם בפרסום פרשת "העסק הביש", בו הופעלו יהודים במצרים לסיכול עזיבת בריטניה את המדינה. לבון ראה בוועדת החקירה של האירוע קנוניה פוליטית שנרקמה על-ידי ראש אמ"ן דאז
בנימין גיבלי, דיין ופרס, אותו ראה כאויבו בנפש. למרות שראש הממשלה דאז,
משה שרת, סלד מפרס ואף אמר שיקרע קריעת אבל אם ימונה לשר בישראל, הוחלט להשאירו בתפקידו.
במסגרת תפקידו כמנכ"ל משרד הביטחון, מילא פרס תפקיד מרכזי במאמצי הרכש הצבאי, בפיתוח התעשיות הביטחוניות והמחקר הביטחוני ובטיפוח הקשרים עם צרפת, תוך עקיפת סמכות משרד החוץ למורת רוחה של שרת החוץ דאז,
גולדה מאיר. במסגרת קשרים אלו, סיפקה צרפת לישראל את הכור הגרעיני בדימונה כעירבון למבצע קדש של שנת 1956, בו שיתפו פעולה ישראל, בריטניה וצרפת.
בשנת 1959 נבחר פרס לראשונה כחבר כנסת, ומונה לסגן שר הביטחון תחת בן-גוריון. פרס היה מבני טיפוחיו של בן-גוריון ויחדיו שקדו על הפיתוח הביטחוני, שאחד מהישגיו היה שיגור הרקטה שביט 2 בשנת 1961. האירוע הביא למרוץ חימוש אזורי, במהלכו ניסתה מצרים להשיג נשק בלתי קונבנציונאלי. באותם שנים המשיך פרס לטפח את קשרי הסחר הביטחוני מול צרפת, למרות התנגדות הרמטכ"ל, חיים לסקוב, וראש אג"ם,
יצחק רבין, שקראו להתקרב לארה"ב ולרכוש ממנה נשק.