הרב נבחר 12 שנה לפני שיחרור הכותל והמקומות הקדושים, אך כבר אז התריע ומחה על שאין מתירים דריסת רגל ליהודי בירושלים העתיקה ואין מניחים ליהודים להתפלל בכותל המערבי. אפילו בנאום ההכתרה שלו התאונן שנבצר ממנו להתפלל ליד הכותל, כמנהג רבנים ראשיים קודמים ביום הכתרתם: "אותה השתפכות הלב, ואותה השראה, הייתה מלווה את הרב במשך כל ימי כהונתו, אינה אפשרית, אלא ליד הכותל שלא זזה ממנו השכינה, ולצערנו ולהוותינו אין אנו יכולים לעלות ולהיראות. תפילתי ותפילת כל ישראל, שבעזרת ה' לא ירחק היום ומקומות אלה יחזרו לידינו ושם נעלה וניראה לפני ה', לשפוך שיח ותפילה כאשר עם לבבנו".
תפילתו התקבלה בעודנו הרב הראשי והראשל"צ. עם שיחרור ירושלים העתיקה, יזם העברת בית הדין הגדול, שהוא היה נשיאו, לבנין ששכן נוכח פני הכותל הדרומי, הסמוך ללשכת הגזית, שהייתה מקום מושב הסנהדרין.
בזכות פעילותו הפכה מדינת ישראל בימי כהונתו, למרכז העולמי הגדול ביותר של התורה. מצב זה אילץ את הרב לענות לשאלות בהלכה שהופנו אליו כמעט מכל קצווי תבל. אלפי תשובות, מהן חשובות ביותר, נתקבצו אצלו, ועם פרישתו החל להכינם לדפוס, ומהם הופיעו כאמור שני חלקים בדפוס, בשנת תשל"ט.
פעילותו הציבורית בקרב כלל ישראל עוררה כלפיו ביקורת מצד חוגים חרדיים, שטענו כי הוא ליברלי מדי, וביקשו למנות במקומו את הרב
עובדיה יוסף הצעיר. מישאלה זו עלתה בקנה אחד עם שאיפתם של ראשי המפד"ל לקדם בחירתו של הרב הראשי לצה"ל הרב שלמה גורן לתפקיד הרב הראשי, הגם שהיה זה על חשבון הדחתו של הרב אונטרמן. כך חברו להם פוליטיקאים חרדים וציוניים דתיים לחקיקה שהגבילה את תקופת כהונת הרבנים הראשיים.
הרב אונטרמן שהיה אז ישיש למדי, נמנע מלנהל מאבק כנגד ההדחה. משפחת הרב נסים לא השלימה עימה וקיוותה שלא יימצא בכל הציבור הספרדי רב שיסכים לשתף פעולה עם המדיחים. על כן גדולה הייתה ההפתעה כאשר הסכים הרב יוסף לקבל את המינוי.
בעקבות ההדחה התפתחה חרושת שמועות, באשר לקרע בין משפחת נסים למשפחת הרב עובדיה. אגדות אורבניות סיפרו שבמלאות עשור לכהונת הרבנים גורן-עובדיה, נרתמה משפחת נסים להדחת הרב עובדיה, למרות שהתחנן בפני הפוליטיקאים על נפשו וביקש לאפשר לו להמשיך בכהונתו. אבל ליוזמה להדחת הרב עובדיה הצטרפו גם הח"כים החרדיים, שששו על ההזדמנות להדיח אגב כך גם את הרב גורן, שנוא נפשם. האיבה לצמד עובדיה-גורן, כל אחד מהם מטעמים שונים, לא הותירה סיכוי לצמד הרבנים הראשיים לחמוק מהדחה.
במסדרונות הפוליטיים טענו כי היה זה משה נסים, שר המשפטים בממשלת בגין, שפעל להדחת הרב עובדיה בתום עשור לכהונתו. אולם עו"ד נסים דוחה טענה זו מכל וכל. הוא מזכיר שראש הממשלה מנחם בגין אומנם צידד בהארכת כהונת הרבנים הראשיים גורן זצ"ל וייבל"א עובדיה, לתקופה נוספת (על-פי בקשתם), אך הכנסת דחתה יוזמה זו. בהצבעה, אומר עו"ד נסים, הוא כלל לא השתתף. הצעת בגין נפלה והרב עובדיה נאלץ לפרוש, יחד עם הרב גורן.
באותה עת הופצה אגדה ולפיה יזם את ההדחה בנו של הרב נסים, השר (דאז) משה נסים. בספרו של כותב השורות הללו ('ש"ס הרוח והכח', הוצ' אלפא תקשורת, 1998), סופר כי "משפחת נסים, אומרים, לא שכחה לרב עובדיה את האירוע הטראומתי הזה בתולדותיה. אף שפורמלית לא היה הרב עובדיה שותף להדחת הרב נסים, או לכל היותר שותף פסיבי, היא מיקדה בו את כל רגשות התיסכול שלה... משה נסים נשבע בפני אביו הישיש, כי הוא לא ינוח ולא ישקוט, עד שימצא דרך להיפרע מהרב עובדיה.
ואכן, במלאות עשור לכהונתו של הרב עובדיה, פעל נסים בנחישות להפסקת כהונתו. מידה כנגד מידה. וזאת חרף תחנוניו של הרב עובדיה בפני ח"כים למיניהם להאריך את כהונתו. האגדה ידעה לספר, שמשהושלמה המשימה, התייצב נסים הבן על קבר אביו, הצדיע והצהיר: 'אבא, המשימה הושלמה. הרב עובדיה כבר אינו יושב על כסאך' (עמ' 32).
כיום מכחיש עו"ד סיפור זה וטוען כי אביו מעולם לא ציווה לנקום בתלמידו, הרב עובדיה, אשר אף זכה לקבל מאביו, את ההסכמה הרבנית הראשונה על ספרו הראשון. מכל מקום, הדחת הצמד עובדיה-יוסף הובילה להולדת תנועת ש"ס. הרב עובדיה, שמצא עצמו מחזר כעני על פתחיהם של הח"כים, בתקווה לשכנעם להאריך את הקדנציה שלו, למד אז שמוקד הכוח האמיתי מצוי בפוליטיקה. הרב עובדיה חש עצמו מושפל, וציטט את הפסוק: "מכבדי אכבד ובוזיי ייקלו" – פסוק שהיווה את הדחיפה הרצינית להקמת ש"ס, וכל השאר היסטוריה.
הרב נסים, שכיהן בתפקיד הרב הראשי עד שנת תשל"ג, במשך ח"י שנים, השיב נשמתו לבוראו בתשעה באב, יום חורבן הבית, שנת תשמ"א, בחצות היום, שמונה שנים אחר הדחתו, ולאחר שהטביע חותמו האישי על החיים היהודיים ועל עולם הרבנות בישראל.