Перша мечеть на цьому місці була побудована ще за життя Мухаммада, наступні ісламські правителі розширили та прикрасили святиню. Під Зеленим куполом (Купол Пророка[1]) розташована могила Мухаммада. Точна дата зведення купола невідома, але його опис можна знайти в манускриптах початку XII століття. Перші два мусульманські халіфи Абу-Бакр та Умар також поховані у мечеті.

Після Хіджри Мухаммед оселився у Ясрибі (названому пізніше Медіною) у будинку, на місці якого пізніше почав зведення мечеті, сам брав участь у роботах. Принцип планування цієї будівлі був взятий для інших мечетей у всьому світі[2][3]. У спорудженні були закладені основні елементи композиції колонної мечеті: відкритий прямокутний двір і прототип майбутньої колонної зали, яка орієнтувалась спочатку на Єрусалим, а пізніше — на Мекку, визнану головним священним містом мусульман. Мечеть також слугувала приміщенням для проведення культурних та громадських заходів, судом та релігійною школою.