Die Hohe Synagoge wurde vom Vorstand der jüdischen Gemeinde in Prag, Mordechai Maisel, in Auftrag gegeben. Sie wurde nach Berichten von David Gans 1568 fertiggestellt. Den Bau errichtete der aus Italien stammende Baumeister Pankratius Roder, der von einheimischen Maurern unter der Führung von Meister Rada unterstützt wurde. Da sie vom Obergeschoss des Jüdischen Rathauses zugängig war, wurde sie offenbar für Sitzungen des Ältestenrates, vielleicht auch für das Rabbinatsgericht verwendet. Für die Öffentlichkeit war sie geschlossen. Der Name der Synagoge leitet sich sowohl von ihrer ungewöhnlichen Lage im ersten Stock, als auch von ihrer hochgestellten Bedeutung für die Leitung der Judengemeinde her. Mordechai Maisel stiftete außerdem für die Synagoge zahlreiche Silbergeräte und Thorarollen.

Nach einem Brand wurde 1691 ein neuer Toraschrein errichtet, die Frauenempore mit gesonderter Treppe erbaut und damit das Gotteshaus vergrößert. Der Kronleuchter stammt aus dem 18. Jahrhundert. 1883 erfolgte ein Umbau durch den Architekten J. M. Wertmüller, der den Zugang vom Rathaus zumauern und eine neue Treppe errichten ließ. Während der Assanierung der Judenstadt wurde die Synagoge 1907 in den Gebäudeblock der neuen Bebauung eingegliedert und umgebaut. Der Eingang ist nun von der gegenüber der Altneu-Synagoge gelegenen Seite möglich, die übrigen wurden zugemauert. Während des Zweiten Weltkrieges wurde die ursprüngliche Einrichtung der Synagoge zerstört. Nach dem Ende des Krieges gelangte die Synagoge in das Eigentum des tschechoslowakischen Staates. Von 1945 bis 1950 fanden hier wieder Gottesdienste statt, dann wurde das Gebäude für Ausstellungen des Jüdischen Museums benutzt, gezeigt wurden vor allem synagogale Textilien. Bei mehreren Renovierungen während der kommunistischen Zeit wurden Schritt für Schritt originale Bemalungen und Stuckaturen freigelegt.

1994 erhielt die jüdische Gemeinde die Hohe Synagoge zurück und ließ sie renovieren. Sie dient seit 1995 als Alltagsbethaus für das Rabbinat und die Angestellten der Gemeinde. Hier finden außerdem Trauungen, Beschneidungen und zu festlichen Anlässen Versammlungen statt. Die Frauenempore im Nachbargebäude wurde ebenfalls erneuert.