בשנת 1940 בעיצומה של מלחמת העולם השנייה הצליח להימלט מפולין והגיע לארץ ישראל. רבים מצאצאיו ומחסידיו נספו בשואת יהודי פולין. הוא השתקע בבית שנבנה בעבורו בשכונת מחנה יהודה בצמוד לבית הכנסת וישיבת "שפת אמת".
לאחר שהגיעו הידיעות הראשונות על רצח יהודי פולין השתתף הרב אברהם מרדכי אלתר ב"כינוס אזעקה של רבני ישראל להצלתה של יהדות אירופ" שנערך בבית הכנסת החורבה בירושלים בנובמבר 1942. ביוני 1948 בחג השבועות הלך לעולמו והוא בן 82. כאמור, מאחר שירושלים הייתה נתונה במצב מלחמה לא היה ניתן לקבור אותו בהר הזיתים. הוא נקבר ב"קבורה זמנית" בחצר ביתו. הזמני הפך לקבוע והוא קבור במקום עד היום. בנו וממלא מקומו, רבי ישראל אלתר, הספידו במילים: "לא היה בדורות האחרונים כמוך, שהכניס כל כך הרבה אמונה בלבות כל כך הרבה המונים". היו בעבר הצעות להעביר את גופתו לקבורה בחלקה המשפחתית של
גור בהר הזיתים אך הדבר לא יצא לפועל.
על שמו המושב בני רא"ם הסמוך לצומת ראם ('מסמיה'), "ישיבת אמרי אמת" בבני ברק וכן רחוב "אמרי אמת" בבית שמש.
אחריו כיהנו כאדמו"רים שלושת בניו של רבי אברהם מרדכי אלתר:
רבי ישראל אלתר, בעל ה"בית ישראל" (1894-1977). כיהן כאדמו"ר מ-1948.
רבי שמחה בונים אלתר, בעל ה"לב שמחה" (1898-1992). כיהן כאדמו"ר מ-1977.
רבי פינחס מנחם אלתר, בעל ה"פני מנחם" (1926-1996). כיהן כאדמו"ר מ-1992. קודם לתפקידו כאדמו"ר כיהן כראש ישיבת "שפת אמת" בירושלים במוצאי חג פורים בשנת 1996 נפטר פתע והוחלט לקבור אותו כאמור לצד אביו בשכונת מחנה יהודה.