Το Τζαμί Αλ-Ακσά χτίστηκε από τον Ομμιαδικό Χαλίφα Αμπντ αλ-Μαλίκ μπν Μαρβάν (ή ολοκληρώθηκε υπό τον γιο του αλ-Βαλίντ Α) μεταξύ 691–692 μ.Χ. (άλλοι πηγές λένε 705–715 μ.Χ.). Ο Αμπντ αλ-Μαλίκ πιστεύεται επίσης ότι χτίσε την εμβληματική Κούμπα της Πέτρας στο ίδιο συγκρότημα Χαράμ αλ-Σαρίφ. Το τζαμί έχει υποβληθεί σε πολλαπλές ανακατασκευές λόγω σεισμών και ανακατασκευών στους αιώνες.
