Pierwsza forteca nad Indre w miejscu dzisiejszego zamku została wzniesiona w XI wieku dla właściciela majątków Saumur Guelduina zwanego diabłem z Saumur. Jego syn rozbudował obiekt, tworząc pierwszy zamek obronny. Dzisiejszy obiekt pochodzi z XV wieku i został zbudowany dla Jeana de Bueil, hrabiego Sancerre i właściciela Ussé. Jego syn Antoine, dzięki posagowi swojej żony – nieślubnej córki Karola VII, mógł przeprowadzić dalszą rozbudowę zamku. Przecenił jednak swoje możliwości finansowe i w 1485 był zmuszony sprzedać posiadłość Jacques’owi d’Espinay. Ten kontynuował prace rozpoczęte przez rodzinę de Bueil, a także nakazał w 1521 wznieść kaplicę grzebalną dla swojej rodziny przy zamku. Ponownie z powodu braku pieniędzy budowa przeciągnęła się do 1538, a w niecałe dwadzieścia lat później René d’Espinay był zmuszony sprzedać zamek Suzanne de Bourbon. Ta z kolei przekazała go swojej córce Louise de Rieux. Kolejnymi właścicielami (na skutek następujących związków małżeńskich) byli Henri de Savoie i Thomas Bernin, markiz de Valentinay. Ten ostatni urządził wokół zamku zachowane do dziś ogrody.

We wrześniu 1700 dotychczasowa kasztelania Ussé została podniesiona do rangi markizatu, którego obszar obejmował także Rivarenne i Bréhémont. Pierwszy markiz, Louis Bernin de Valentinay, przyjmował w zamku Charles’a Perraulta, który w czasie pobytu w Ussé napisał Śpiącą królewnę. Gościem zamku był również marszałek Vauban, ojciec żony de Valentinaya, który opracował w rezydencji wiele projektów fortyfikacji, jak również osobiście nadzorował budowę zamkowych tarasów i alei parkowych. Zamek pozostawał w rękach rodziny Bernin do 1780.

W 1807 nowymi właścicielami obiektu została rodzina książąt de Duras, a następnie ich krewni książęta de Blacas, którzy do dzisiaj są gospodarzami zamku. Obiekt jest częściowo udostępniany turystom. W 1817 Ussé odwiedzał René de Chateaubriand, który pisał w nim swoje Pamiętniki zza grobu.