À l'origine, une première mosquée est construite à l'intérieur de l'enceinte du kremlin de Kazan au XVIe siècle. La mosquée porte le nom de Qolsarif, homme d'État et imam ayant exercé au khanat de Kazan. Qolsharif y meurt avec ses nombreux élèves, en défendant Kazan de l'attaque russe en 1552. Il est supposé que le bâtiment avait des minarets, à la fois sous la forme de coupoles et de tentes de conception traditionnelle du khanat bulgare de la Volga, bien que des éléments du début de la Renaissance et de l'architecture ottomane aient pu également être utilisés. En 1552, la mosquée est détruite par Ivan le Terrible, au cours du siège de Kazan.

Des chercheurs tatars spéculent quant à savoir si certains éléments de l'ancienne mosquée Qolsharif seraient présents dans la cathédrale Saint-Basile-le-Bienheureux de Moscou qui comprend huit tours et une coupole centrale, non typiques de l'architecture russe.