גורדון נולד בחבל פודוליה שב'תחום המושב' בשנת 1856 למשפחה של תלמידי הגר"א שנשלחה לבלום את התפשטות החסידות באזור זה. לימים התחנך בבית חמיו-דודו שהיה מחסידי טולנאה והושפע, לחיוב ולשלילה, גם מן החסידות, עד שנתפס לציונות ו"נפל בשביה". בשנת 1904 עלה ארצה עם ראשוני העלייה השנייה, והוא בן 48. מרגע עלייתו פקדו את משפחתו ייסורים רבים, ובכללם מות אשתו מספר חודשים אחרי עלייתה ארצה בשנת 1909 ומות בנו במגיפה בגולה, כשנה לפני מותו של גורדון עצמו בשנת 1922. בתו, יעל גורדון, לא נישאה והוזמנה כמותו להצטרף לקבוצת דגניה א'.
למרות קשירת נשמתו וגורלו בהתיישבות החילונית בארץ ישראל, רחש גורדון
כבוד והערכה לחלקים שונים בהלכה. לאחר עלייתו ארצה הוא התרחק מהשקפת העולם האורתודוקסית, אך המשיך לשמור שבת וכשרות והקפיד לראות את ערכו של העולם המסורתי-ההלכתי שנטש למרות חיצי הביקורת הקשים שרעיו, ובעיקר י"ח ברנר, הפנו כלפיו ללא הרף. על כן, אין תמה כי קיים דמיון בין הסתייגותו מהנחת היסוד האבולוציונית של הנאורות והרפורמה ובין הניתוח של יצחק ברייער, מגדולי הוגי הדעות של אגודת ישראל ופועלי אגודת ישראל, ביחס למודרנה. בספרו מוריה ציין ברייער כי "גדול ומפואר הרכוש של האנושות התרבותית על יסוד חזונותיה ועל יסוד ניסיונותיה. ולמרות זאת חייה החברתיים בלתי-מסודרים, והתפוצצויותיה תמיד יותר איומות ונוראות. וההתפוצצויות האלה מסכנות ממש את כל התרבות [...]" (יצחק ברייער, מוריה: יסודות החינוך הלאומי התורתי, ירושלים תש"ה עמ' 240).
ואולם, בשונה מברייער, שהטיף בסוף ספרו להיבדלות הנוער התורני לצורך הנהגתו את "עם התורה בארצנו" (עמ' 247-248), ראה גורדון לנגד עיניו חזון חברתי שונה. תקוותו הייתה נטועה בהבנתו את עיקר מפעל השיבה ההמונית של העם היהודי לארצו כמפעל עממי-לאומי מובהק המטפח סולידריות בעם היהודי תוך כינוסם של קולות רבים. על כן קיווה להתעוררותה של "הפעלה הדדית" של קבוצות זהות שונות בעם היהודי, המייצגות פרוסות שונות ולעתים אף מנוגדות של האמת היהודית והלאומית. מטעם זה אף תבע לאורך כל הדרך מן השואפים ללכת בדרכו הרוחנית לטפח את הקרבה והברית עם התימנים, עם נוער מבני היישוב הישן ו... כן, גם עם החרדים, כפי שכינה את הציבור האורתודוקסי בכללו.
"צריך להודות", כך כתב במאמרו "אחרי הרעש" ב-1921, "כי ההשכלה האירופית, ובכלל זה רוח הכפירה וההריסה, נחוצה הייתה לעצם תחיית רוחנו הלאומית. זקוקים היינו ל'שבירת כלים' לשם יצירת עולמנו מחדש. את זה נתנו ונותנים החופשים. אולם מצד אחר, אין להעלים עין כי האור הגנוז הלאומי נשתמר במידה מרובה בקרב החרדים, אלא שהם אינם יודעים להביאו לידי גילוי. דווקא משום שהם באים אליו בכלים הישנים. פה נחוצה הפעלה הדדית", הדגיש, "לא מלחמת דעות, שאין בכוחה להוליד פה חיוב, ובכל אופן אין היא עיקר, כי אם עבודה משותפת תמה, נאמנה ליצירת חיינו הלאומיים ולתחיית רוחנו הלאומית [...] פה לפנינו עבודה גדולה של שחרור הרוח הלאומית והאישית מצד אחד מהשפעת רוחם של אחרים, ומצד שני, מהתאבנותה בתוך עצמה - עבודה גדולה וקשה מכל עבודה לשחרור הגוף".
את הדברים הללו כדאי להחיות ולנצור בימינו, שבהם הולך וגדל הבוז ההדדי של אנשי "ימין" ו"שמאל", אורתודוקסים ולא אורתודוקסים, אלו כלפי אלו. כאמור, הגם שגורדון השתייך לקבוצת האנשים שחשו כי "בעולם בו חיו אבותינו אין אנו מוכשרים עוד לחיות", הוא העריך עד מאוד את "אנשי הדורות שקדמונו" ש"אצרו השקפת עולם משלהם [...] היא התורה הלאומית שאיש ואיש ידע בה את פסוקו" (מכתב שני ל'דער יודע', 1917). הוא סבר כי לא תיתכן תקומה ללאום היהודי ללא תקומה לדת היהודית, והיות שהכיר במורכבות המפעל הזה לא העמיד עקרונות כי אם שאלות.
בערוב ימיו שאל את מקורביו שהתרחקו מן הדת: "האם גמרנו את חשבוננו עם הדת? [...] האם ביררנו לעצמנו מה דת ישראל, יצירת רוחנו הלאומית לנפש היהודי?" ("לחשבוננו עם הדת", 1921). מן הדברים שנכתבו על-רקע חילולו של יום הכיפורים על-ידי קהילות החלוצים החילוניות המתחדשות שלהן השתייך, חש גורדון בכל נימי נפשו שתהליך הבירור הפנימי של עם ישראל בשאלה מה בתוך הדת התיישן ומה לא חייב להימשך ולהתברר באיטיות וביסודיות גם בקרב הדורות הבאים.