El primer impulso para la mezquita comenzó en 1966, cuando el rey Faisal bin Abdelaziz de Arabia Saudí la sugirió durante una visita a Islamabad, con motivo del ingreso de Pakistán en la Comunidad Islámica Mundial. En 1969 hubo un concurso internacional donde arquitectos de 17 países presentaron 43 propuestas. Luego de 4 días de deliberación, se eligió el diseño del arquitecto turco Vedat Dalokay. La construcción comenzó en 1976 por Azim Khan y fue financiada por el Gobierno saudí, por un costo de más de 130 millones de riyales saudíes. El rey Faisal fue determinante en la financiación, y tanto la mezquita como la ruta que lleva hacia ella fueron nombradas con su nombre luego de su asesinato en 1975. La mezquita se completó en 1986. El mausoleo del general Muhammad Zia-ul-Haq está adyacente a la mezquita.