באיסלאם מכונה ירושלים "אולא אל-קבלתיין" – כיוון התפילה הראשון. בניסיון למשוך את היהודים לאיסלאם, קבע מוחמד את ירושלים ככיוון התפילה. לאחר שראה שהיהודים לא מתאסלמים ושהכעבה במכה משמעותית יותר, החל מוחמד במאבקים אלימים נגד שבטים יהודיים בחצי האי ערב עד כדי גירושם או השמדתם, וקבע את מכה ככיוון התפילה.
ירושלים נשארה בקדושתה עבור האיסלאם, לא רק ככיוון התפילה הראשון, אלא כעיר שממנה עלה מוחמד לשמיים. לפי המסורת המוסלמית, מוחמד ערך מסע לילי למסגד הנעלה (הר-הבית) על סוסתו אל-בוראק, קשר אותה לכותל המערבי ועלה לשמים ביחד עם המלאך גבריאל. שם, קיבל את מצוות התפילה ואת הקביעה כי מכה יהיה כיוון התפילה.
בתקופתו של עבד אל-מלכ בן מרואן, שליט מבית אומיה, נקבע שירושלים הוא מקום המסגד אליו הגיע מוחמד. לפי הסברים מאותה תקופה, ההחלטה על קביעת הר-הבית כמסגד זה נועדה למנוע הגעת תושבים למכה, בה שלטו באותה עת מורדים שהתנגדו לשלטון בית אומיה. הסבר מאוחר יותר גורס, כי בניית מסגד אל-אקצה וקביעתו כקדוש למוסלמים, נעשתה בשל התחרות של האיסלאם מול הנצרות, תוך ניסיון מחד למנוע ממוסלמים לבקר בכנסיות ומאידך - לגרום לנוצרים להתאסלם.
קדושתה של ירושלים בעיני האיסלאם הביאה לכיבושה במאה השביעית. במשך השנים, ירושלים עברה ידיים בתוך האיסלאם ומעמדה השתנה תדיר. השלטון המוסלמי בירושלים בנה אתרים מוכרים כגון חומות העיר העתיקה וכיפת הסלע. כיום, בעיני האיסלאם מעמדה של ירושלים מבוסס כאשר היא העיר השלישית בקדושתה אחרי מכה ומדינה. במשך מאות שנים שלט האיסלאם בעיר, וחזרת היהודים והתבססותם נראתה בעיניהם כדבר פסול הפוגע בדתם, שיש למנועו בכל מחיר.