Фортеця Кулес вперше була згадана на початку XIV століття. Вона була зруйнована землетрусами в 1303 році (відновлена генуезцями).[1] Перше зображення фортеці зробив флорентійський чернець Кристофоро Буондельмонті в 1429 році.[1]

Остаточну форму будова набуло в 1523–1540 роках, коли новозбудована цитадель, замінила стару фортецю, яка не відповідала вимогам захисту у зв'язку з появою пороху.[2]

Венеціанці використовували як назву фортеці — Rocca al Mare. Три барельєфи, вмуровані в головні стіни фортеці, зображують лева, як символ святого апостола Марка, що є одночасно і покровителем Венеції, і покровителем фортеці і Іракліона.

Щорічно венеціанці використовували старі, застарілі судна для перевезення великої кількості природного каменю з острова Діа і Фраскіі, пляжу поблизу Рогдаї. Поблизу Іракліона кораблі з каменем затоплювалися, щоб утворити мол, здатний захистити фортецю від руйнування з боку моря.

У період турецького панування (1669–1898 рр.) фортеця одержала назву Кулес (su kulesi — морська фортеця). У цей же період було проведено добудову верхнього рівня цитаделі, додано амбразури, місця для гармат, невелику мечеть. Частина мінарету, який замінив старий маяк, збереглася досі на північно-східній стороні даху.