המסגד הגדול של ג'נה נחשב לחריג בקרב המסגדים שבאפריקה המערבית כיוון שהאתר שעליו הוא שוכן לא קודש לפני הקמתו, לפני כן שכן במקום ארמון. מסגדים אחרים נבנו בצורת מגדלים מחודדים קוניים העשויים מחמר או אבנים, ומייצגים את המסורת המקומית. חלק מהמומחים לאדריכלות אסלאמית, כגון לאבל פרוסין, מאמינים שהמגדלים החרוטיים הללו שולבו לתוך המסגדים ברחבי מאלי, ומצביעים על מסגד ג'נה בתור הדוגמה הבולטת ביותר למגמה זו.

האתר שבו שוכן המסגד כיום שימש כמקום פולחן מאז שהמבנה המקורי נבנה על ידי קוי קאנבורו בשנת 1240[1], לאחר שמאלי המירה את דתה לאסלאם. דבר זה קרה לפני שג'נה הפכה לעיר חשובה באימפריות מאלי וסונגהאי. המבנה המקורי, בדומה לנוכחי, היה עשוי מחמר (לבני בוץ).

הפוליאני אמדואו לובו שכבש את ג'נה במסגרת הג'יהאד שלו פקד להחריב את המסגד ב-1834. הוא התייחס אל המבנה המקורי, שבמקור היה ארמון, כאל מבנה ראוותני שאינו ראוי לשמש כמסגד. החלק היחיד של המבנה המקורי שעדיין קיים הוא המתחם הסגור שבו נמצאים קבריהם של המנהיגים המקומיים. שחזור של המסגד הראשון הושלם ב-1896, אך מאוחר יותר גם הוא נהרס על מנת לפנות מקום למבנה הנוכחי.

בנייתו של המסגד הנוכחי החלה ב-1906, וככל הנראה הושלמה ב-1907 או ב-1909. בנייתו של המסגד נוהלה על ידי אסמעילה טראורה, מנהיג פועלי הבנייה של ג'נה. באותה תקופה הייתה ג'נה חלק מהקולוניה של אפריקה המערבית הצרפתית, והצבא הצרפתי הציע תמיכה פוליטית וכלכלית לבניית המסגד והמדרסה שלידו.

מסגדים רבים במאלי חוברו לרשת החשמל הלאומית, ונבנו בהם תשתיות מים. בחלק מהמקרים כוסו פני השטח של המסגד בשכבה נוספת, וכך נהרס המראה ההיסטורי של המבנים, ובמקרים אחרים התערערה יציבות המבנים. בזמן שהמסגד הגדול צויד במערכת רמקולים, הביעו תושבי ג'נה התנגדות לתהליך המודרניזציה של המסגד ותמכו באופיו המסורתי. תומכי שימור רבים תמכו בעמדת הקהילה, והעניין במסגד גדל מאוד בשנות ה-90.

המסגד נסגר ללא-מוסלמים לאחר שעל גגו ובתוך היכל התפילה נערכו צילומי אופנה, דבר שנחשב להפרת ההסכם עם המנהיגים המקומיים.