פעם, כשהיה ילד מבריק שהחל לזכות באליפויות ארה"ב בשחמט, צהלנו. ידענו שהוא לפחות חצי משלנו: אמו יהודיה, והיו שטענו שאביו, פיזיקאי גרמני שהתגרש מאימו של בובי כשהילד היה בן שלוש, היה גם הוא יהודי. כשהביס את בוריס ספאסקי בקרב על אליפות העולם ב-1972 ידענו כבר שהוא קצת מוזר, אבל לפחות הוא היה המוזר שלנו. יותר מאוחר הוא נהיה ה"מוזר" שלהם: הוא הצטרף לכת תמהונית נוצרית שמנהיגה, הרברט ארמסטרונג, הבטיח לחבריה שישו יחזור לארץ הקודש ב-1975. פישר העביר לארמסטרונג חלק מהסכום שקיבל כשזכה באליפות העולם, אך פרש באכזבה מהכת כשישו סרב לחזור ולהראות את פניו.
ואז החלה שנאת היהודים שלו. לפישר היו תמיד בעיות עם איגודי השחמט - האמריקני והעולמי. הוא ניסה להכתיב להם את הכללים שתחתם יסכים להשתתף בתחרויות ובהגנה על תארו, ותוך זמן קצר רכש לעצמו של של נודניק שלא היסס להשתמש באלימות מילולית ובאיומים. רבים משחקני השח הבכירים בעולם הם יהודים, וכך גם בקרב איגודי השחמט. כשסירבו להיענות למה שהם ראו כדרישות מופרזות, פישר הפנים זאת כקנוניה יהודית נגדו.
באותה שנה בה פרש בובי פישר מהכת של ארמסטרונג, הוא נטש גם את הקריירה המקצועית שלו כשויתר על תואר אלוף העולם בשחמט. הוא עבר להתגורר בדירה קטנה בשכונת עוני באחד מפרברי לוס אנג'לס, והעיתונאים הבודדים שהצליחו לראיינו תיארו מתבודד תמהוני עטור זקן שבילה זמנו בכתיבת פמפלטים אנטישמים בהם הכחיש את השואה והאשים את מנהיגות יהדות ארה"ב באחריות לכל בעיותיה הכלכליות והפוליטיות של המדינה. אז נודע גם שהוא ניתק את יחסיו עם אמו ועם אחותו, בגלל יהדותן.
ב-1992, 20 שנה לאחר שהביס את בוריס ספאסקי באליפות העולם, הסכים פישר למפגש חוזר עם ספאסקי ביוגוסלביה, ובכך הפר את הסנקציות שהטילה ארה"ב על ממשלו של סלובודן מילושביץ. פישר ניצח את ספאסקי במפגש, אך בילה את שנותיו האחרונות כפליט, תחילה ביפן ולאחר מכן באיסלנד, בה נפטר לאחרונה.
מזכיר איגוד השחמט העולמי אמר עליו, לאחר שפישר זכה באליפות העולם ב-1972, שגאוניותו מדהימה ומקבילה לגאוניותם של אלברט איינשטיין ואייזיק ניוטון. יתכן. היום ברור יותר שבובי פישר היה אידיוט סאוואנט - גאון שאין שני לו בתחום אחד, ואידיוט בלתי-נסבל בתחומים אחרים. מעין מהדורה אנטישמית של הדמות שדסטין הופמן גילם ב"איש הגשם".