קרב איגרוף מיוחד במינו ערך פן עם חיים נחמן ביאליק, ביום הולדתו ה-26 של פן שחל ב-14 בפברואר 1932. פן חזר מביקור בשייח' אבריק אצל השומר האגדי אלכסנדר זייד ופניו היו מועדות לבית הקפה "רצקי". בבית הקפה מצא את ביאליק יושב בחברת ידידו, מנחם דונקנבלום, לימים שופט בבית המשפט עליון. כאשר שמעו השניים, כי יום הולדתו של פן חל באותו יום, הציעו לערוך לו מסיבה, והזמינו אליה ציירים, שחקנים ואנשי בוהמה. החבורה לגמה לגימה הגונה והושרו שירים בעברית, ברוסית וביידיש. כטוב ליבם ביין הזמין ביאליק את פן ל"מאבק" ואמר: "ועתה אני מזמין את שנינו / לקרב ביניים בינינו / יעמדו העבה והדק / לשחק משחק המאבק". ופן מספר: "ביאליק זרק לי 'כפפה' ואני 'הרימותיה'. ביאליק הסיר את מקטורנו, הפשיל שרוולים והתייצב בטבורו של השטיח הססגוני, כשרגליו פשוקות וידיו נתונות לפניו, משל היה מתאבק מקצועי. הכל סבבונו בעיגול רחב. [הצייר] שנדר, הלהוט אחרי מעשה 'גבורה' ערך את הטקס ה'רשמי'. בהודיעו את שמות 'המתאבקים', ביקש ללחוץ ידיים ופלט בקול רם 'פויחאלי!', כלומר: התחילו. והמאבק החל. "מה שהפליאני במאוד, הרי זוהי זריזותו של ביאליק, אשר 'נכנס' בתפיסה חזקה למדי והכריחני להרגיש את נחת זרועותיו. המשחק, שהפך ל'רציני', לשמחתם הרבה של 'הצופים', ארך כמה רגעים, ואז בתנועה מהירה חיבקני ביאליק חיבוק של ממש, ניתק את רגלי מן הרצפה וקרא בקול 'מאיים' של מנצח שקורבנו נתון לשבטו או לחסדו: 'בקש רחמים!' כבהרף עין ריפיתי שרירי גופי ו'חסר אונים' גלשתי לרגליו ובפי שתי אנחות: 'רחמים, הו קיסר!' תרועות הידד פרצו במלוכד מגרונותיהם של הצופים פני 'הזירה". ב"מאבק" ההיתולי-ידידותי שבין שניהם, נכנע פן החזק והצעיר מרצון לביאליק הבכיר, שנפל ממנו בכוחו הפיסי. ביאליק למעשה אינו "מאיים" על פן אלא להפך: חיבוק הקרב של ביאליק הוא חיבוק של משחק וחיבה, ופן ברצון מקבל עליו את "מלכותו" של "הקיסר". מאבק זה הוא גם סמלי. פן העריך את ביאליק וראה בו את "האב הגדול" של הספרות העברית החדשה. הוא הדגיש כי ביאליק קיבל אותו מתוך התמודדות ידידותית, מתוך "מאבק" וראה בפן, המשורר הצעיר ששירתו כל כך שונה משלו, יריב, אך יריב ראוי ונחשב. בשירי המולדת שלו ניהל פן מאבק ודו-קרב קשה עם ארץ ישראל, המתוארת כאישה בשר ודם. האהבה בינו לבין המולדת מתוארת כאהבת ארוטית שבין גבר לאישה, אהבה מתוך קרב, אהבה שאינה מושגת בקלות ואינה שגרתית. "שירַי היו סיבובים של מכות רצח ביני לבין המולדת", אמר פן, "אינני גורס אהבה של רומיאו ויוליה". "הנשק" של המולדת הוא החום שבעזרתו היא מנסה לייבש את מקור שירתו. הנשק שלו הם הקור והשלג. לעתים נדמה כי הוא המנצח בקרב, שכן השלג שהוא מביא עמו מרוסיה מנצח את חומה של הארץ, אך בהמשך מסתבר כי הארץ היא המנצחת, שכן היא ממיסה אותו: "צררתי בשלג מזגך הלוהט / קרחון העליתי על גבי שריפותייך / ואת לא נרתעת מכובד החטא / אני הנמס בחישוק זרועותייך". גם בשירי האהבה שלו ניתן פן ביטוי למאבק פיזי ולכוח האגרוף. בפואמה "מכתב אל אישה" הוא מתאר כיצד הוא יושב בחברת משוררים ואומנים וביניהם גם שחקנית צעירה. אחד מהם שולח ידו אל השחקנית ומיד הוא קם להגנתה ונותן מכת אגרוף חזקה לאותו משורר הצונח מעוצמת הכאב. לעומת זאת בשיר "את ואני" הוא מתאר את האוהב המפצפץ את אפה של אהובתו ושואל: "דיממתי את אפֵּךְ? – סלחיני המְחֻשְקֶשֶת". את אהבתו הוא מתאר כמו זו של "פנתר דורס": "ממחבואי דמי אקפוץ, חיה פורצת, / ובין מלתעותי תדעך נשמת טרפי".

באמצע שנות ה-1930 פנה פן שמאלה והצטרף למפלגה מרקסיסטית. נראה שבקבלו את האידיאולוגיה הזו ניסה פן לשנות כמה צדדים באישיותו: הוא, שהעריץ את "חוק האגרוף", ומימש אותו גם בחייו – דיבר עתה על שלום, על הימנעות מאלימות, על פיוס בין עמים. המעבר שמאלה שינה את שירתו והוא עבר מכתיבת שירה לירית לכתיבת שירה פוליטית, שבה האגרוף שוב אינו מכֶּה אלא קופא אל מול כנפיה של יונת השלום. דו-קרב מסוג אחר ניהל פן עם השתייה שלו. גבר חזק וחסון היה, אך ההתמכרות לטיפה המרה גרמה לכך שעוד בטרם מלאו לו 30, חלה בסוכרת. האלכוהול היה סם מוות למחלתו, אולם הוא מעולם לא חשב להפסיק לשתות. הוא התייחס לאלכוהול כמו לספורט האיגרוף וניהל עם היין מאבק ותחרות. "יש מאבק ביני ובין כמות האלכוהול המצויה", טען. "מובן שזה יוצר אווירה, שמביאה תמיד להתנגשויות, לאבל או לשמחה. יש בה הרבה דינאמיות", אמר פן. גם עם מחלתו, כמו עם השתייה, ערך מעין דו-קרב ובחן את יחסי הכוחות ביניהם. אולם ככל שהתגברה מחלתו שוב לא יכול היה להמשיך בחיי השגרה, והוא ניהל את הקרב האחרון בחייו: הקרב מול המוות. ב-1934 כתב את "שיר השיכור", שבו תיאר בהומור ובעצב את השיכור בהליכתו המתנדנדת. השיכור שאינו מבחין בין ימין לשמאל, השיכור שחש שכל העולם מתנועע יחד איתו, וכשנתקל במשהו לא ידע לזהות אם זה שוטר או עמוד. כ-30 שנה אחר כך, בשנת 1965, כתב את השיר "רחוב העצב החד סיטרי" – שמנהל דיאלוג עם "שיר השיכור". משיר זה נעלמו ההומור והצחוק ושולטים בו העצב ותחושת המוות. את חייו הוא מנהל ב"רחוב העצב החד-סטרי", ושם מתקיים "דו-קרב סורר" בינו לבין הזמן שהולך ואוזל: "לא, איני רוצה להיות אינני שכזה / אני רוצה להיות יֶשְנִי, ואם חסר לי זמן / אני שוכב שלשום וקם אתמול כדי היום / לָצֶקֶת ולעצֵב פני המחר, כי המחר אינו יליד-מחר אף פעם / הוא בן האתמולים ושִלְשוֹמִים, דו-קרב סורר ביני לבין הזמן". בשיר האחרון שכתב פן הוא סוגר את הדו-קרב ההיתולי עם ביאליק באופן מכמיר לב. במלאת לפן 64 פרסם את השיר "שמים, בקשו רחמים עלי!", ובו התגלגל החיבוק הממשי של ביאליק החי לחיבוק דמיוני של ביאליק המת. השיר פותח באותה שורה, שבה פותח שירו של ביאליק "על השחיטה": "שמים, בקשו רחמים עלי". פן מוציא שורה זו מהקשרה ומבקש רחמים על עצמו בגלל סבלו הפרטי, שאינו קשור במאורע לאומי כלשהו "שמים, בקשו רחמים עלי! / מאיזה בקבוק זה בא לי? / כן, מעומק שכוח דומעים אלי / פצעי תפילתו של ביאליק". בשיא יגונו ובדידותו הוא נאחז כבעוגן הצלה באבי הספרות העברית. ביאליק המת עולה כדמות מהאוב ומחבק אותו חיבוק של אבהות, כמו 30 שנה קודם לכן. אך פן אינו עוד הצעיר מלא הכוח, שיכול בקלות לנצח בקרב היאבקות ומעמיד פני נכנע מפאת כבודו של ביאליק. הוא חולה אנוש ושותק, משום שמרוב כאב אינו יכול לבכות, וביאליק לוחש לו מילות רחמים וניחומים: "היי"ש בדמי יוצא מכליו / קיצי במאורה נוּבָּא לי / 'שמים, בקשו רחמים עליו' / לוחש ומחבקני ביאליק".