Het kasteel werd oorspronkelijk gebouwd door daimyo Imagawa Ujichika en werd in 1532 door krijgsheer Oda Nobuhide overgenomen van Imagawa Ujitoyo, maar Nobuhide verliet het kasteel later.

In 1610 gaf shogun Tokugawa Ieyasu het bevel aan verschillende daimyo om mee te helpen bij de bouw van een nieuw kasteel op dezelfde plaats. Dit complex moest de nieuwe zetel worden van de provincie Owari en voor de bouw werd veel materiaal uit het Kasteel Kiyosu (de vroegere zetel van de Owariprovincie) gebruikt, waaronder de tenshu (donjon). Het kasteel werd in 1612 voltooid. Het is gebouwd in een stijl die typerend is voor Japanse kastelen op vlak terrein. Het complex bestond uit een vestingwal; de Nimomaru-tuin; het Hommaru-paleis; een theehuis; vier wachttorens; een kleine donjon, en een hoofddonjon, verbonden met een brug. De Tokugawa-dynastie heeft er eeuwenlang gewoond.

In mei 1945 zijn de meeste gebouwen tijdens Amerikaanse luchtaanvallen op Nagoya getroffen en afgebrand, waaronder het Hommaru-paleis (voordien geroemd vanwege de Shoin-stijl architectuur). Drie hoektorens en drie toegangspoorten bleven gespaard. De donjons werden in 1959 herbouwd.