젠네에 첫 번째 모스크가 건설된 연도는 알려져 있지 않으나, 대략 13세기에서 14세기 말 사이에 지어졌을 것이라고 추정된다. 모스크가 언급된 최초의 기록물은 알사디(al-Sadi)가 지은 타리크 알수단(Tarikh al-Sudan, 수단의 역사)인데, 17세기 중반 이전에 이미 구전으로 이 모스크의 존재가 알려져 있었다고 한다. 이 책에 따르면 쿤부루 술탄이 무슬림으로 개종을 하면서 왕궁을 부수고 그자리에 모스크를 지었다고 전해진다. 그는 모스크 동쪽에 새로운 왕궁을 지었다. 그의 후계자는 모스크의 첨탑을 지었고(미너렛), 그 후손들이 주변을 둘러싸는 벽을 지었다고 한다. 첫 번째 모스크의 폐허는 20세기 초반에 발행된 프랑스의 엽서에도 나타나있다.

프랑스의 탐험가 르네 카일리에(René Caillié)가 1828년 젠네를 처음 방문함으로써 서양인들에게 이 모스크의 존재가 알려지게 되었다. 그는 "젠네에는 흙으로 만들어진 모스크가 있는데 2개의 커다란 덩어리로 이루어져 있으나 첨탑은 보이지 않는다. 그 규모는 매우 크지만, 정교하게 지어진 건물은 아니다. 이 모스크는 현재 버려진 상태로 수많은 제비들이 그 속에 둥지를 짓고 있다." 라고 저술하고 있다.

르네 카일리에가 방문하기 10년 전, 풀라니족의 추장 세쿠 아마두(Seku Amadu)가 전쟁을 벌여 젠네를 점령했다. 세쿠 아마두는 그곳에 존재하는 모스크들을 인정하지 않았고 파괴를 허용했다. 카일리에가 본 것은 이로 인해 파괴된 건물들로 추측된다. 1834년~1836년 사이 세쿠 아마두는 예전 궁궐터였던 모스크의 동쪽에 새로운 모스크를 세웠다. 새로운 모스크는 낮은 높이의 거대한 건물로 첨탑은 존재하지 않았다.

1893년 4월 루이 아르시나르(Louis Archinard)가 이끄는 프랑스 군대가 젠네를 점령했다. 얼마뒤 프랑스의 저널리스트 펠릭스 뒤부아(Félix Dubois)가 젠네를 방문하여 폐허가 된 원래의 모스크에 대해 저술했다. 뒤부아는 그가 방문했을 당시 폐허가 된 모스크의 내부는 묘지로 사용되고 있었다고 쓰고있다.

1906년 프랑스 당국은 폐허가된 모스크를 새로 짓고 세쿠 아마두의 모스크가 있는 자리에는 학교를 짓기로 결정한다. 젠네의 석공이었던 이스마일라 트로레(Ismaila Traoré)의 감독으로 1907년 재건축이 완료된다. 그당시의 사진에 따르면 원래의 모스크를 감싸는 외벽들의 배치는 원형대로 복구되었지만 지붕을 받치는 기둥의 위치는 정보의 부족 때문에 제대로 구현해 내지 못했다. 메카를 향해 대칭을 이루며 서있는 3개의 첨탑은 재건축을 통해 새로이 만들어졌다. 이러한 모스크의 재건축은 다분히 프랑스의 영향을 받은 것이었다.

동쪽벽 앞에 자리한 언덕에는 2개의 무덤이 위치해 있는데 남쪽의 큰 무덤은 18세기의 중요한 이맘이었던 알마니 이스마일라(Almany Ismaïla)의 것이다. 프랑스 식민시절 모스크의 동쪽에는 연못이 있었으나 지금은 매워져 시장으로 사용되고 있다.

말리의 많은 모스크에 전기와 수도가 도입되었다. 많은 모스크가 표면을 완전히 새롭게 장식하여 역사적인 가치가 있는 외관이 훼손되기도 했고, 모스크 특유의 고결함을 상실했다. 젠네의 그랑모스크에도 현재 스피커 시스템이 설치되어 있지만 젠네의 시민들은 모스크의 고결함을 일치 않기 위해 건물 자체를 현대화하는 것에 반대했다. 많은 역사학자들이 이러한 젠네 시민들의 결정에 찬사를 보냈다.