סיפורה של תנועת
ש"ס בפוליטיקה הישראלית, הוא סיפור מוזר. אבל גם כסיפור ארגוני דתי-יהודי הוא לא פחות מוזר. ההיסטוריה המודרנית, של ראשית המאה העשרים, העמידה את הארגונים הדתיים והחרדים, במרכז ההוויה הפוליטית, התרבותית והרעיונית של היהדות הדתית והחרדית.
עד ראשית המאה העשרים היו הארגונים הדתיים היהודים בנויים סביב מודל הרבנויות הליטאיות, ההונגריות ומה שנותר מיהדות גרמניה הדתית. מנגד, ברחבי רוסיה הגדולה (כולל פולין) ובאוקראינה בעיקר, עמדו האדמו"רים בראש החצרות החסידיות. זה היה נכון לאירופה של תחילת המאה העשרים - על שלוחותיה הקטנות דאז ביבשת אמריקה. מנגד, יהדות המזרח וצפון אפריקה הייתה בנויה על ה"מרא דאתרא" של כל מדינה וחבל ארץ בארצות האיסלאם ובמזרח הרחוק.
הראשונים שפרצו מארגון יהדות נטו לתנועה פוליטית היו אנשי ארגון "המזרחי". הללו, במטרה לדבוק בציונות החילונית כנגד המסורה הדתית ההיסטורית של ציפייה למשיח בלבד, הקימו את ארגונם בסמוך לתקומתה של הציונות החילונית, וקשרו את גורלם בציונים החילוניים, שרובם באו אז מהשמאל דווקא, ולא באחיהם החרדים. "המזרחי" הוקם בשנת 1902, כדי לארגן את זרימת הדתיים לתוך הציונות ולנטרלם מהשפעת הרבנים והאדמו"רים.
בראש המהלך הזה עמד הרב
יצחק יעקב ריינס, שאפילו תמך ב"תוכנית אוגנדה" של הרצל, בימים שהאחרון רצה להחליפה כנגד העלייה לארץ ישראל. מיד אח"כ קמה "אגודת ישראל", כריאקציה לנטישת "המזרחי" את העולם ההשקפתי הדתי. הקמתה של אגו"י הייתה בשנת 1912, בעיר קטובי'ץ. ראשי המקימים באו דווקא מהקטנה שבקבוצות החרדיות - ראשי היהדות האורתודוכסית של גרמניה, מהעיר פרנקפורט. בראשם עמדו ר' יעקב רוזנהיים ו-ר' יצחק ברוייאר (נכדו של הרב שמשון רפאל הירש).
הקבוצה הזו הצליחה לגייס את חסידויות גור ואלכסנדר מפולין ואח"כ גם את רוב היהדות הליטאית של ליטא ופולין. הטענה המרכזית הייתה שצריכים להקים גוף
מפלגתי כנגד פרישת "המזרחי" מהיהדות הדתית וחבירתה לציונות החילונית. לא כל החוגים החרדים היו שותפים להקמת אגו"י, למרות שהאחרונים הצליחו לגייס לצידם רבנים חשובים ומרכזיים כהרב שמואל גרודזי'נסקי, ה"חפץ חיים" (שניהם ממזרח אירופה) והרב יוסף חיים זוננפלד מארץ ישראל.
רוב העולם החסידי התנגד לחבור ל"אגודת ישראל" בטענה כי מדובר בעוד ארגון מודרני שיגרום נזק ליהדות הצרופה. בראש המתנגדים עמדו הרב חיים סולובייצי'ק מבריסק, האדמו"רים ממונקאטש, לובאביטש, בלזא וסאטמר וה"סבא קדישא" שלמה אליעזר אלפנדרי מארץ ישראל. בשנת 1922 חלו פילוגים ב"המזרחי" ובאגו"י - בכל אחת בנפרד, על-רקע ההשפעות הסוציאליסטיות של אותם ימים, והקמתה של בריה"מ הקומוניסטית.