אלון היה בין מייסדי מדרשית נעם בפרדס-חנה, שם שימש ר"מ, ובמקביל סיים בהצטיינות לימודי משפטים בתל אביב. עם הקמת המדינה וצה"ל הוא שירת כתובע צבאי ובהמשך כאב בית-דין צבאי. כשהשתחרר מהצבא עבד תחילה במשרד עורכי הדין של חמיו, ד"ר מרדכי בוקסבוים, לצדו של מי שיפגוש לימים בתחנות אחרות בחייו, (השופט) חיים כהן. ב-1955 הזמין אותו כהן לכהן כעוזרו במשרד היועץ המשפטי לממשלה. תחילה עסק במשימות ייעוץ כלליות, אבל בהמשך הוקמה במשרד מחלקה למשפט עברי ואלון כיהן בתפקיד המנהל שלה ועוזרו של כהן לענייני המשפט העברי. במסגרת הזאת הוא מיסד את הנוהל - הקיים עד היום - שלפיו לכל הצעת חוק מצורף תזכיר ובו עמדת המשפט העברי בנושא.
במקביל לעבודתו במשרד המשפטים, הוא החל ללמד משפט עברי באוניברסיטה העברית. הוא הקים שם את המכון לחקר המשפט העברי ועמד בראש הקתדרה למשפט עברי. כשמונה לפרופסור באוניברסיטה עזב את משרתו במשרד המשפטים והתמקד בקריירה האקדמית. גולת הכותרת שלה הייתה כמובן ספר היסוד (בשלושה כרכים עבי-כרס) 'המשפט העברי – תולדותיו, מקורותיו, עקרונותיו'. על מכלול העבודה הזאת הוא קיבל ב-1979 את פרס ישראל לחקר המשפט. שנתיים קודם לכן מונה לכהן בבית המשפט העליון, תפקיד שמילא כאמור במשך 16 שנים (חמש השנים האחרונות כמשנה לנשיא). במהלך אותן שנים הוא חולל תקדים ציבורי, כאשר כשופט מכהן בבית המשפט העליון הוא התמודד ב-1983 על תפקיד נשיא המדינה, מטעם גוש הימין, מול מועמד גוש השמאל, חברו לספסל ישיבת 'חברון' חיים הרצוג. ההתמודדות כמובן עוררה דיון ציבורי נוקב לגבי מעורבותו של שופט עליון במערכה מסוג זה. בסופו של דבר הפסיד אלון על חודם של קולות אחדים, והמשיך בנחת את כהונתו השיפוטית.
אף שהיה ידוע כנעים הליכות, אלון לא היסס להיכנס לעימותים (מנומסים ומנוסחים בשפה משפטית מוקפדת) על הערכים היקרים ללבו, בראש וראשונה על עצם מעמדו של המשפט העברי. מלכתחילה היה המושג הזה ביטוי להשקפה ציונית-חילונית שביקשה בתקופת המנדט לעגן במערכת המשפט של אותם ימים עקרונות מוסר והגות (ופחות הלכה) הלקוחים מהיהדות. אלון הכניס למושג הזה משמעות הלכתית יותר, אבל עדיין שמר על המושג 'משפט עברי' - גם מתוך הנחה שכך יקל עליו להתקבל, אבל גם מתוך אמונה עקרונית שההלכה היא גם בעלת משמעות תרבותית-לאומית, ולא רק דתית. הדבר הביא אותו לוויכוח לא רק עם משפטנים חילונים, שלא אהבו את רעיון הכנסת ההלכה תחת הכסות של 'משפט עברי', אלא גם עם משפטנים דתיים, שראו ב"משפט עברי" סכנה לחילונה של ההלכה.
הבולט ביניהם היה עמיתו לבית המשפט העליון, פרופ' יצחק אנגלרד. אנגלרד טען שכאשר דין הלכתי הופך לחקיקת כנסת הופכת הכנסת למקור תוקפו ובכך מאבד הדין את משמעותו הדתית. למעשה, עוד
הרבה שנים לפני כן העלה ד"ר זרח ורהפטיג, מראשי הציונות הדתית, את הסברה שבמקרה כזה גם העובדה שפרשנות החוק תיעשה בידי שופטים שאינם בהכרח שומרי מצוות או תלמידי חכמים היא בעייתית. אלון חלק על שניהם.
ואמנם, לצד מאבקו למען הטמעת המשפט העברי במשפט הישראלי, הוא לחם למען
כבודו של המשפט הישראלי מול פוסקים (כולל ציונים) שהגדירו אותו כ'ערכאות' (הפסולות מבחינה הלכתית) שאין לפנות אליהן. כמי שהיה גם היסטוריון של ההלכה, הוא ידע לציין שמאז תום האוטונומיה של בתי הדין הרבניים באירופה המודרנית נהגו יהודים שומרי מצוות לפנות לבתי המשפט הכלליים במדינותיהם, והם עושים כך גם בימינו, כאשר "חכמי ההלכה השלימו עם תופעה זו", וממילא "יותר מתמוה אפוא להעלות טענה של איסור ההליכה לערכאות בקשר לבתי משפט יהודיים של המדינה העברית דווקא". ברוח דומה תבע אלון את עלבונו של המשפט העברי גם מחכמי ההלכה, כאשר מול הטענות החילוניות על אי-הרלוונטיות של ההלכה כתשתית למשפט מודרני הִרבה לתבוע מאנשי ההלכה לבצע את ההתאמות הדרושות.
כשופט הוא נהג כך בעצמו, כשפירש את ההלכה פירוש ליברלי-מודרני ואף נהג להדגיש את תפיסתה המדגישה מאוד את זכויות הפרט בשורה של עניינים פליליים. כך, למשל, הוא התנגד בשם ההלכה לאכיפה קלה של מאסרים על בעלי חוב כספי, והגביל מאוד בפסיקתו את אפשרות המאסר במצבים מסוג זה. הוא ביקר בחריפות מעצרים המלווים בהפשטת אדם ברחוב, גם אם העצור מסכים לכך, והיה המוביל לאישור תקדימי לאישה, לאה שקדיאל, לכהן במועצה הדתית בירוחם. הכרעות מסוג זה גרמו למשפטן
משה נגבי לציין, עם פרישתו של אלון מבית המשפט העליון: "בזכותו למדתי עד כמה מתקדם המשפט העברי בתחומים מסוימים, אפילו יותר משיטות המשפט המודרני, שלא לדבר ביחס לשיטות משפט קדומות". מנגד, אלון אסר על ניתוקו של חולה ממכונת הנשמה בשם הפסיקה ההלכתית האוסרת המתת חסד, והתנגד לרישומו כיהודי של אדם שעבר גיור לא-אורתודוקסי.
