この洗礼堂の起原は4世紀から5世紀にさかのぼる。現在の建物は、3つの建築物の中では最も古いロマネスク建築で、11世紀に起工されたものである。長い間、軍神マルスを祭ったローマ神殿であり、それが洗礼者聖ヨハネのために奉納しなおされたものであると信じられていた（初期ルネサンスの建築家たちもそう信じていた）。

屋根部分全体は1128年に、頂頭部のランターンは1150年に、司教座のある内陣は1202年に完成した。サンタ・レパラータ教会が見劣りするためと考えられるが、こちらが礼拝堂として用いられていた。しかし、サンタ・マリア・デル・フィオーレ大聖堂の建立にともなって、1355年から1375年まで改修を行い、礼拝堂に入る前に洗礼を施す洗礼堂として使われるようになった。この洗礼堂で洗礼を受けたダンテ・アリギエーリは、『神曲』地獄篇で「わが美しき聖ジョヴァンニ」とこの洗礼堂に言及している。