אף כי מקומו של אופנהיימר בהיסטוריה נקבע כ"אבי פצצת האטום" נראה היה כי בנשמתו סערה דילמה עקרונית: אם בכלל היה זה נכון להשתמש בנשק גרעיני נגד יפן ואם טוב עשה כאשר המליץ על השימוש בנשק הגרעיני. עם הדילמה הבלתי פתורה הזו, שבאה לידי ביטוי במאמרים רבים שפרסם ובראיונות שהעניק לתקשורת, נאבק "אופי" עד סוף ימיו, אך היא החלה להטריד אותו מיד אחרי הפצצת הירושימה ונגסאקי. בראיון לתקשורת לאחר כניעת יפן אמר "אופי" כי ארה"ב הייתה חייבת להציג בפני יפן את עוצמתה של הפצצה באורח מתון וחלש יותר ורק אחר כך, אם זה לא היה מביא לסיום המלחמה, אפשר היה להטיל את הפצצה על עיר מאוכלסת. "האמת היא", הסביר "אופי", "כי כאשר הוטלה הפצצה על הירושימה, יפן למעשה הובסה והשימוש בפצצה היה מעשה של "אגרסיביות, של הפתעה ושל טרור". וכאן הוסיף "אופי" אמירה שרדפה אותו שנים רבות: ייצור הפצצה היה "מעשה של השטן".
"אופי" הפך למוביל המאבק הציבורי נגד השימוש בנשק אטומי. "הפצצה הזו" חזר והדגיש כמעט מעל כל במה שניתנה לו "מסמלת את חוסר האנושיות של המלחמה המודרנית". חלק ניכר מן המאבק הקדיש למלחמה נגד פיתוח פצצת המימן בטענה כי "בפצצת המימן טמונות סכנות לחיסול הציוויליזציה האנושית". וכדי שלא יהיה ספק לגבי חלקו הוא במעשה "הנורא" של השימוש בנשק הגרעיני בהירושימה ונאגאסקי נהג להוסיף: "אני מרגיש שיש לי דם על הידיים".
"המהפך בעמדתו של אופנהיימר היה כל כך גדול" סיפר לימים אחד מעמיתיו המדענים "עד שלא יכולנו להבין כיצד אנו שומעים את כל הדברים הנוראים האלה מפיו של האדם שתמך בהטלת פצצת האטום "שלו" על אזרחים בהירושימה".
הדילמה שהסעירה את אופנהיימר הייתה מוזרה מעוד טעם. למרות כל טיעוני הנגד שלו חזר "אופי" וטען עד סוף ימיו, כי מה שעשה היה "המעשה הנכון".
"מילאתי את התפקיד שקיבלתי על עצמי למלא" נהג להסביר. "אני לא קבעתי את המדיניות בלוס אלאמוס. עשיתי את מה שביקשו ממני לעשות. כולל ייצור הפצצה".
מומחים לאמונה ההינדית מסבירים את דבריו אלה של אופנהיימר כך: "לכל כת, לכל אדם, יש תפקיד שעליו למלא ביקום. חובה שעליו למלא. לכל אדם החבר בכת כלשהי יש חובה למלא לא רק את התפקיד האישי שיועד לו אלא גם את המחויבות של הכת שאליה הוא משתייך".
באחד הראיונות שהעניק ניסה אופנהיימר להסביר לעיתונאי אגרסיבי-משהו את הסתירה-לכאורה בהתנהגותו. העיתונאי התרעם על התנהגותו הבוטה של "אופי" כלפיו ואמר: "אתה מצייר אותי כמין חיית טרף שייצאה לציד ומנסה להשיג את טרפה בכל מחיר".
אופנהיימר השיב: "זו חובתך. כמו שזו חובתו של צייד מרגלים לחפש ולמצוא מרגלים, כמו שזו חובתו של המדען הרוסי לעשות ככל יכולתו כדי למלא את חובתו למולדתו".
בהרבה מקרים נהג אופנהיימר להביא דוגמאות הסבר מתורת ההינדו כשהוא מצטט את המשל הבא: "אופה מכין עוגה כהלכה לא כיוון שהוא רוצה לקבל פרס אלא מכיוון שעוגה טובה היא מה שאופה, כאופה, אמור לעשות; אם אדם ממלא תפקיד של לוחם-מקצוען הוא לא עושה את מה שהוא עושה כדי לזכות בעיטורי תהילה. הוא פשוט רוצה למלא את ייעודו, את שליחותו הארצית, על הצד הטוב ביותר".
למרות כל הסתירות בין המעשים לבין הדיבורים על אודות המעשים האלה חזר תמיד "אופי" על עמדתו הבסיסית: "כל אחד מאיתנו עושה את מה שמוטל עליו לעשות. גם אני עשיתי את מה שהכתיב לי ייעודי. מעולם לא הצטערתי על מה שעשיתי. לא כאשר מילאתי את תפקידי במשימה שהוטלה עלי ב"פרויקט מנהטן" ולא היום".
בשנים שאחרי הפצצת הירושימה נהג "אופי" להסביר כי הוא בוחן את מה שהיה כמו משהו שהיה מיועד להתרחש ללא קשר למה שהוא עצמו עשה או לא עשה. "ייצור הפצצה והטלתה" נהג להבהיר "היו בלתי נמנעים. ייצור הפצצה היה משהו טבעי. חלק מן הטבע. אם אתה מדען אינך יכול לעצור תהליך שכזה". אך כאשר נשאל אם לדעתו הייתה הצדקה להטיל את הפצצה על עיר אזרחית השיב אופנהיימר את התשובה המתחמקת-משהו "בהיותי מדען אין לי הכלים המתאימים להשיב על שאלה כזו שהיא מחוץ לתחום התמחותי".
לימים, כאשר נשאל "אופי" בעקבות הדעות שהביע נגד השימוש בפצצה מדוע בכל זאת הוטלה הפצצה השיב: "בכל שיקולינו תמיד לקחנו בחשבון עד כמה עקובה מדם עלולה להיות פלישה אמריקנית ליפן וכמה חיילים אמריקניים ייהרגו אם ניאלץ להילחם על אדמת יפן. תמיד ראינו זאת כחובה לשמור חיים ולחסוך בהרוגים מכוחותינו. זו הסיבה שהחלטנו להטיל את הפצצה. היינו משוכנעים כי הטלת פצצה על אזור לא מאוכלס, למטרות הדגמת-הפחדה, לא תשיג את אפקט ההרתעה והכניעה הנדרש. כאשר עבדנו על הכנת הפצצה היינו משוכנעים כי יש לה יכולת להביא לסיום המלחמה".
לאחר השימוע ב-1954 החלה דעיכתו של "אופי". הוא רכש לעצמו חלקת חוף יפהפייה באי סנט ג'ון שבאיי וירג'ין והקים לעצמו בית קיט ספרטני על החוף שבו נהג לבלות במשך חודשים, תמיד בחברת אשתו קיטי. חלק גדול מזמנו נהג לבלות בהפלגה על היאכטה שלו יחד עם אשתו, מתבודד ומתנתק מן החברה האנושית שאת השד הנורא המאיים על קיומה סייע הוא עצמו להוציא מן הבקבוק. עם זאת המשיך לגלות עניין בסכנות האורבות לאנושות כתוצאה מן השימוש בנשק גרעיני. הוא חבר לפעילות הציבורית בתחום זה לאלברט איינשטיין, לפילוסוף הבריטי ברטראנד ראסל, ולמדענים אחרים שדעתם הייתה כדעתו.
אופנהיימר, שהיה מעשן כבד כל חייו, מת בן 62 מסרטן בגרון בביה"ח באוניברסיטת פרינסטון. הוא ציווה שגופו יישרף והורה לאשתו לפזר את אפרו במקום שאהב מכל – בים מול החוף הפרטי שלו. וכך עשתה. שירת חייו הפיסיים, כאמונתו, הסתיימה, אך מעשיו והתלבטויותיו, ילוו תמיד את האנושות שאותה הצעיד לעידן מפחיד חדש. ששינה את תולדות האדם.