Die Synagoge wurde im 13. Jahrhundert im frühgotischen Stil erbaut und ist heute noch das religiöse Zentrum der Prager Juden. Der Bau hat mehreren Stadtbränden, Judenpogromen und auch der Slum-Sanierung (Assanierung) des 19. Jahrhunderts getrotzt. Im Gegensatz zur noch älteren Alten Synagoge in Erfurt und der älteren, aber wiederaufgebauten Wormser Synagoge blieb die Altneu-Synagoge aber als Synagoge erhalten. Ursprünglich hieß sie „Große“ oder „Neue“ Synagoge (im Gegensatz zu einem älteren, nicht erhaltenen Bethaus), bis ein ihr nahegelegener Neubau diesen Namen erhielt.

Das Gebäude wurde (nach verschiedenen Quellen) im letzten Drittel des 13. Jahrhunderts von Steinmetzen der königlichen Bauhütte errichtet, die auch das nahegelegene St.-Agnes-Kloster bauten. Eine andere Quelle besagt, dass die Bauausführung von einer Zisterzienser-Bauhütte erfolgte.[1]

Im Laufe der Zeit wurde der Bau so gut wie nicht verändert. Erst 1883 renovierte Josef Mocker die Synagoge. Im 20. Jahrhundert erfolgten 1921–1926, 1966/1967 und 1998/99 weitere Instandsetzungsarbeiten. In der Zeit der deutschen Besetzung Prags 1939–1945 wurde das Gebetshaus von den Nationalsozialisten nicht zerstört, da die Nationalsozialisten planten, die Synagoge zu einem Museum der ausgelöschten jüdischen Rasse umzugestalten.[2]

Die Altneu-Synagoge war stets die Hauptsynagoge der jüdischen Gemeinde Prags und genoss entsprechendes Ansehen. Hier wirkten ihre bedeutendsten Rabbiner, wie Eliezer Aschkenasi, Mordechai ben Abraham Jaffe, Rabbi Löw, sein Schüler Jomtov Lipman Heller, Ezechiel Landau, Michael Sachs oder Salomo Judah Löb Rapoport.

Neben der Hohen und der Jerusalemer Synagoge ist die Altneu-Synagoge eine der drei Synagogen in Prag, in denen bis heute Gottesdienste abgehalten werden. Die nahe gelegene Klausen- und die Maisel-Synagoge dienen hingegen als religiöse Museen.