V roce 1700 přišli z Polska rabín Jehuda he-Chasid (Segal) a jeho 300 až 1 000 studentů (číslo se liší v závislosti na zdroji), kteří zakoupili nádvoří vedle Rambanovy synagogy, která byla z muslimského popudu zavřena Osmany roku 1589. Na tomto místě pak kvůli narůstajícímu počtu Židů začali stavět synagogu.

Kvůli náhlé smrti svého rabína a následnému poklesu velikosti komunity, nebyli imigranti schopni dokončit stavbu a splácet dluhy. V roce 1721 byla nedokončená stavba a s ní 40 svitků Tóry, která se v ní nacházely, podpálena arabskými věřiteli. Od té doby se na tomto místě nacházely ruiny, která byly známy pod názvem Churvat Rav Jehuda he-Chasid (Ruina rabína Judy Chasida), zkráceně Churva („Ruina“).

Toto místo zůstalo opuštěné po dalších 140 let. V roce 1816 přišel ze Safedu do Jeruzaléma rabín Menachem Mendel ze Šklovu, který doufal, že od Osmanů získá firman, který by odpustil aškenázům všechny dluhy, což by umožnilo opětovnou výstavbu synagogy. Byl žákem Gaona z Vilny a patřil k asketickým Židům, známým jako Perušim, kteří do Palestiny imigrovali mezi lety 1809–1812 z Litvy. Původně žili v Safedu, ale časté vypuknutí nemocí jich mnoho přinutilo přestěhovat se do Jeruzaléma.

Když dostal rabín Menachem Mendel ze Šklovu souhlas zprošťující aškenázy od všech nezplacených dluhů, získal rovněž detailní informace o hranicích původního nádvoří, kteří Židé před lety zakoupili. Nicméně stále bylo nezbytné a velice obtížné, získat od osmanských vůdců svolení ke stavbě synagogy, jejichž stavba byla zakázána. Když roku 1832 převzal Muhammad Ali Egyptský kontrolu nad Jeruzalémem, udělil povolení pouze k opravě již existujících synagog. Nespokojení perušim se snažili získat podporu mezi ruskými a rakousko-uherskými konzuly a nakonec díky zvučným jménům barona Salomona Mayera von Rothschilda, rabína Šlomo Zalman Cofera, kteří vyjednávali jménem perušim, začala stavba roku 1836. O rok později již existovala Synagoga Menachem Sijón. Ve stejný rok však město Safed postihlo zemětřesení, které vedlo k další vlně židovských uprchlíků do Jeruzaléma, což vedlo k potřebě výstavby ještě větší synagogy.

Řešení tohoto problému opět připadlo na rabína Šlomo Zalmana Corefa. Nakonec díky snahám britského filantropa Sira Mosese Montefioreho a pomoci britských konzulů v Jeruzalémě a Konstantinopoli byl nezbytný firman získán od osmanského sultána Abdülmecida I. v roce 1856.

Edikt byl doručen samotným Mošem Montefiorem během jeho páté cesty do Svaté země, avšak dokončení stavby se již nedožil rabín Coref, který byl zabit místními Araby. Základní kámen byl položen roku 1856 za přítomnosti vrchního rabína Šmuela Salanta, který byl nápomocný při získávání nezbytné podpory a barona Alfonse Jamese de Rothschilda, bratra Edmonda Jamese de Rotschilda, který věnoval velkou část svého života podpoře Židů v Palestině. Synagoga byla oficiálně nazvána Bejt Jákov (Dům Jákobův), po jejich otci Jamesi (Jákov) de Rotschild, ačkoliv si synagoga udržela svůj název Churva.[1] Jak pokračovala výstavba, zdroje vysychaly a nakonec stavba trvala 8 let, do roku 1864, než byla dokončena. Největší sponzorský dar od jednotlivce byl od Jechezkela Reubena, bohatého sefardského Žida z Bagdádu. Jeho syn Menaše a dcera Lady Sasson později ještě dále přispívali. Tyto dary od rodiny Reubenů nakonec pokryly více než polovinu celkových nákladů. Počin rodiny Reubenů byl důležitým krokem ke sjednocení sefardů a aškenázů ve městě.[2]

Jiný dárce byl král Fridrich Vilém IV. Pruský, jehož jméno bylo napsáno nad vstupními dveřmi, spolu se jmény ostatních dárců.[3] Také mimo jiné v Prusku povolil shromažďování finančních prostředků od židovských subjektů.

Když se v roce 1866 při jedné ze svých cest do Jeruzaléma vypravil Moše Montefiore, navštívil slavnou synagogu Churva a na jeden ze svitků Tóry umístil stříbrný štít (chošen). Když synagogu navštítvil znovu v roce 1875, přišel ho přivítat dav tří tisíc Židů.[4]

Po následujících 84 let byla budova pokládána za nejkrásnější a nedůležitější synagogu v Zemi izraelské. Synagoga Churva rovněž poskytovalo přístřeší části ješivy Ec Chajim, největší ješivy v Jeruzalémě. Byla ohniskem židovského náboženského života ve městě a byla sídlem vrchního aškenázského rabína jak pro Palestinu tak pro Jeruzalém.[5]

3. února 1901 se v synagoze pořádala pamětní bohoslužba za královnu Viktorii, z vděčnosti za britskou ochranu Židů v Jeruzalémě. Bohoslužba byla vedena vrchním aškenázským rabínem Šmuelem Salantem. Podle záznamu z židovské kroniky byla budova „naplněna po její největší kapacitu a policisté museli silou zabraňovat davům, kteří se chtěli bohoslužby zúčastnit.“[6]

V bitvě o jeruzalémské Staré město v izraelské Válce o nezávislost vytvořili bojovníci Hagany obrannou pozici uvnitř synagogy a na jejím nádvoří. Poté, co Židé odmítli nabídku kapitulace, zprostředkovanou Červeným křížem, vojáci jordánské Arabské legie vystřelili ve zdi, která obklopovala synagogu díru. V následujících 45 minutách bojů byla synagoga obsazena.[7] Legionáři vstoupili do synagogy a pokusili se vyšplhat na vrchol její kopule a umístit tam jordánskou vlajku. Tři z nich byli zastřeleni ostřelovači Hagany, ale čtvrtý uspěl. Synagoga Churva byla nejvyšší budovou Starého města a tak jordánská vlajka byla jasně patrná i z Nového města a značila triumf Legií.[7] Dva dny po obsazení židovské čtvrti Legiemi, vyhodili jordánsci synagogu do povětří.[8] Jordánský velitel, který vedl tuto operaci následně řekl svým nadřízeným: „Poprvé za tisíc let nezbyl v židovské čtvrti jediný Žid. Ani jedna budova nezůstala nedotčena. To činí židovský návrat nemožným.“[9]

Po Šestidenní válce (Milchemet Šešet ha‑Jamim‎), byly vytvořeny a předloženy návrhy pro vybudování nové synagogy na stávajícím místě. Jelikož v té době nemohlo být přijato žádné trvalé řešení, bylo přijato alespoň řešení symbolické. V roce 1978 byl znovu vztyčen jeden ze čtyř podpůrných oblouků, které byly nosnými oblouky obří kopule. Šestnáct metrů vysoký kamenný oblouk, který se klene nad místem, kde stávala synagogy Churva byl vztyčen dvěma architekty. Výšky původní budovy, včetně kopule, byla dvakrát tak velká, jako symbolický oblouk. Spolu se zbytky budovy a informačními tabulemi tak měl být upomínkou toho, co zde kdysi stálo.

V roce 1998 vydal středoamerický karibský stát Antigua a Barbuda známku, znázorňující synagogu Churva.[10]