De Oude Kerk heeft een rijke bouwgeschiedenis. In de tweede helft van de 13e eeuw werd de houten kapel vervangen door een stenen zaalkerk. Na 1300 bouwden de Amsterdammers een ruime hallenkerk: een driebeukig gebouw met smalle, maar even hoge zijbeuken en een klein, rechthoekig koor, in gotische stijl. Voor zover bekend is het de eerste hallenkerk in Holland. Ook een toren werd gebouwd, op de plaats van de huidige. Omstreeks 1330 wordt het kleine koor vervangen door een ruimer, eenbeukig koor. In 1330-1350 worden de smalle zijbeuken vervangen door brede zijbeuken (zelfs iets breder dan het middenschip) en begint de kerk te lijken op de nu nog steeds bestaande (anno 2003). Deze driebeukige hallenkerk bestaat in gewijzigde vorm nog steeds.

In de daarop volgende eeuwen wordt flink gewerkt aan de vergroting van de kerk, die nu immers een parochiekerk is. Eerst werden de zijbeuken in oostelijke richting doorgetrokken, zodat ook het koor driebeukig werd, waarna een vijfzijdige kooromgang werd gebouwd. Daarna volgden twee kapellen die de kerk het uiterlijk van een kruiskerk gaven: de Sint-Joriskapel aan de noordzijde, gebouwd in 1380-1412 (tijdens de restauratie is het jaar 1412 in een balk van het gewelf gevonden), en de Sint-Sebastiaanskapel aan de zuidzijde, gebouwd in 1450-1460. Echter, dit werd weer tenietgedaan door de bouw van nieuwe kapellen.

In de eerste helft van de 16e eeuw is de kerk verhoogd. Eerst werd het schip verhoogd met een lichtbeuk, daarna, rond 1550, werd ook de kruising verhoogd (aan de verhoging van de dwarsschepen is men niet meer toegekomen; deze hebben nog steeds nooddaken).

Ten slotte werd in 1558-1560 een lichtbeuk geplaatst op het koor (betaald uit een loterij in 1558) en werd tussen 1563 en 1565 het stenen ondergedeelte van de toren aanzienlijk verhoogd. Daar kwam een sierlijke spits op, vermoedelijk ontworpen door Joost Bilhamer. De vernieuwde, en van een grotendeels vernieuwd klokkenspel voorziene, toren is 70 meter hoog.[1]

In de Beeldenstorm van 1566 werden de altaren, schilderijen en heiligenbeelden van de Oude Kerk ernstig beschadigd of vernield. Alleen de beelden die hoog genoeg hingen, werden gespaard. Na de Alteratie werd op 31 augustus 1578 voor het eerst het Avondmaal bediend door Petrus Dateen, en werden de eerste predikanten bevestigd.

In 1584 mochten de kooplieden in de kerk beurs houden. De kerk is voor dit doel gebruikt tot 1611 (toen de Koopmansbeurs op het Rokin werd geopend). Vanaf 1632 vonden de vergaderingen van de Kerkenraad afwisselend plaats in de Oude en Nieuwe Kerk. Door de bouw van het stadhuis aan de Dam won de Nieuwe Kerk aan belang en werd definitief de hoofdkerk. Daarna nam het belang van de Oude Kerk af.