Projekt budynku przygotował architekt John Trail. Budowę rozpoczęto w 1786 roku, a oddano do użytku w 1796 roku[1]. Początkowo, tak jak większość osiemnastowiecznych więzień, było to więzienie nieuporządkowane. Mężczyźni, kobiety i dzieci trzymani byli razem w złych warunkach[1]. Wzniesiony z szarego kamienia budynek od razu zyskał złą sławę. Najbardziej znaną częścią jest skrzydło wiktoriańskie. W swoim czasie, uznane za wzór budowli więziennych, było często odwiedzane. W latach wielkiego głodu wywołanego zarazą ziemniaczaną w więzieniu przebywali Irlandczycy, którzy dopuścili się z powodu braku żywności drobnych przestępstw. Część więźniów została następnie zesłana do Australii. Kilmainham Gaol było też miejscem, w którym więziono osoby związane z walką o niepodległość Irlandii. Tu też stracono przywódców powstania wielkanocnego. Po odzyskaniu przez Irlandię niepodległości budynek przestał pełnić funkcję więzienia, jako opuszczony popadał w ruinę do lat 60. XX wieku. W 1960 roku spotkała się grupa osób, które postanowiły odbudować zniszczone więzienie.