Le origini del castello risalgono al periodo Sengoku, quando il clan Ogasawara costruì sul luogo una fortezza che venne chiamata "castello di Fukashi", che in seguito cadde nelle mani del clan di Takeda Shingen e successivamente in quelle di Tokugawa Ieyasu. Quando Toyotomi Hideyoshi fece trasferire Ieyasu nella regione di Kantō, pose il castello sotto la giurisdizione di Ishikawa Kazumasa, il quale, insieme a suo figlio Yasunaga, furono responsabili, tra il 1593 e il 1594, della costruzione della torre e di altre parti del castello, che si sono conservate fino ai giorni nostri.

L'area del castello copre circa 39 ettari e all'interno delle sue mura si trovava il donjon, ovvero la residenza principale del daimyō e i numerosi magazzini per le armi e le munizioni, la biblioteca e gli oggetti di valore. All'interno del perimetro più esterno erano racchiusi gli alloggi delle élite dei samurai, ovvero i guerrieri che componevano la guardia personale del daimyo e dei suoi consiglieri. Quest'area era circondata da un altipiano in terra progettato per resistere al fuoco dei cannoni, ampio circa 3,5 kilometri di diametro. Ad esso si aggiunge un fossato che obbligava il passaggio per e dal castello da due ponti fortificati, chiamati rispettivamente Masugata e Umadashi. Oltre il perimetro delle mura si trova la cittadella di Matsumoto, costruita con un numero limitato di incroci ad L e a T, appositamente per aumentare la difendibilità del castello.