ოვარის პროვინციაში წინსვლისთვის სურუგას პროვინციის სამხედრო მმართველმა, უმაგავა უჯიჩიკამ, 1521-1528 წლებში, ტაიეის დროს, თავისი შვილის, იმაგავა უძიტოიოსთვის ნაგოიის სასახლის წინმორბედი სასახლე, იანაგი-ნო-მარუ ააგო. 1532 წელს ოდა ნობუჰიდემ იმაგავა უძიტოიოს სასახლე წრთვა, იქ დასახლდა და ნაგოიის სასახლე უწოდა. მისი ვაჟი, ოდა ნობუნაგა, სასახლეში დაიბადა 1534 წელს. 1555 წლის აპრილში, მას შემდეგ რაც ნობუჰიდემ ოდა ნობუტომო კიუსიუს სასახლეში დაამარცხა, თავისი რეზიდენცია კიუსიუს სსახლეში გადაიტანა. 1582 წლისთვის ნაგოიის სასახლე გაუქმდა.

იაპონიში მრავალი აჯანყების შემდეგ ტოკუგავა იეისაუმ 1609 წლის ნოემბერში ნაგოიაში სასახლის ხელახლა აგება გადაწყვიტა. მეიძის რესტავრაციამდე ნაგოიის სასახლე აყვავებული იყო და ტოკუგავას კლანის სამი შტოს სამკვიდროს წარმოადგენდა. სასახლის მშენებლობის ტექნოლოგია განვითარდა 1576 წელს ოდა ნობუნაგას (1534-1582) მიერ აზუჩის სასახლის აგების შემდეგ. ერთ-ერთი მთავარი ხუროთმოძღვარი, რომელმაც შენობა დააპროექტა, ნაკაი მასაკიიო იყო, რომელიც ადრე ნიძიოს, ედოს, ფუშიმისა და სუნპუს სასახლეთა მშენებლობაში იყო ჩართული. მან არსებული სასახლეებისა და საფორტიფიკაციო ნაგებობების მშენებლობის ტექნოლოგია და ტექნიკა გააანალიზა და ტოკუგავას სასახლეთათვის სტანდარტები შეიმუშავა.