בנייתו של המסגד הושלמה בשנת 879 לספירה (או שנת 295 להיג'רה). קיים ויכוח האם הוא המסגד העתיק ביותר בקהיר שנשמר בצורתו המקורית. המסגד נבנה על ידי אחמד אבן טולון, שהיה מושל מצרים תחת החליפות העבאסית בשנים 868–884 לספירה. הוא ממוקם על גבעה קטנה בשם "ג'אבל יאשקור" ("גבעת ההודיה"), שלפי אחת האגדות היא הגבעה בה נעצרה תיבת נח. המסגד שימש כמוקד של הבירה של שושלת טולון שייסד אבן טולון - אל קאטא'י (שהמסגד הוא השריד האחרון מהעיר), והוא היה צמוד לארמונו של אבן טולון וממנו הייתה דלת למינבר, מה שאפשר לו מעבר ישיר למסגד. במסגד המקורי הייתה מזרקת רחצה ("סביל") בין הקירות החיצוניים והפנימיים שנהרסה, ובמקומה בנה הסולטן לאג'ין במאה ה-13, מזרקה בעלת כיפה באמצע חצר המסגד. אחד הדברים הבולטים במסגד הוא המינרט, צריח ששימש מקום למואזין לקרוא למתפללים לתפילה. תאריך בנייתו של המינרט אינו ידוע, אך המדרגות הלולייניות שמסביבו מרמזות על סגנון אדריכלי דומה למסגד הגדול של סאמרא.