Die älteste schriftliche Nachricht über die Hallen stammt von 1211, als ein Bürger durch seinen Wohnsitz hinter der Halle charakterisiert wurde, „Riquardus post hallam“. Zu der Zeit dürften die Hallen noch aus Holz gewesen sein. Als möglicher Baubeginn des (back-)steinernen Komplexes aus Hallen und Belfried wird das Jahr 1240 angesehen. Gerade die älteren Teile weisen eine Vielfalt an Gebäudestrukturen und Baumaterial auf.

Der aus Stein erbaute rechteckige Turm hatte ursprünglich eine hölzerne Spitze, die ebenso wie das Stadtarchiv 1280 abbrannte.

In den folgenden zweihundert Jahren wurde überwiegend Backstein verwendet. 1296 wurde die Turmspitze wieder aufgebaut, 1345–1346 obere viereckige Turmgeschosse restauriert oder neu darauf gebaut. Der umgebende Baukomplex der Stadthallen zwischen Hallestraat und Wollestraat erhielt seine heutige Gestalt zwischen dem späten 14. Jahrhundert und 1420.

Der Turm brannte 1493 erneut ab. Bei diesem Brand wurde auch die Stadtglocke zerstört. Danach wurde überwiegend Werkstein verwendet, sowohl an den Fensteröffnungen der Hallen, als auch bei Reparaturen und Anfügungen am Turm. Die Spitze entstand, aufwändiger als die vorherigen 1345–1346 wieder aus Holz. Sie fiel 1741 ebenfalls einem Brand zum Opfer. Um dem vorzubeugen, wurde 1822 anstelle einer hölzernen Spitze eine neogotische steinerne Krone auf den mittelalterlichen Turm gesetzt.