De geschiedenis van het kasteel begint in de 15e eeuw, wanneer Jean de Beuil op het grondgebied van een vroegere vesting met de bouw van een kasteel begint. Na diens dood in 1477 werd de bouw voortgezet door zijn zoon Antoine, die getrouwd was met Jeanne van Valois, een onwettige dochter van koning Karel VII bij zijn maîtresse Agnès Sorel. In 1485 verkocht Antoine de Beuil het kasteel aan Jacques Espinay, de kamerheer van koning Lodewijk XI en later van Karel VIII. In deze tijd werd o.a. de westelijke vleugel gebouwd. Jacques liet het kasteel op zijn beurt weer na aan zijn zoon Charles en diens vrouw Lucrèce de Pons. In zijn testament had hij bepaald dat er door zijn erfgenamen een grote kapel op het kasteelterrein gebouwd moest worden. Charles en Lucrèce voerden deze opdracht uit en drukten daarnaast nog hun stempel op het kasteel door op verschillende plaatsen hun initialen, de C en de L, aan te brengen.

In 1656 werd het kasteel overgenomen door de markies van Bernin de Valentinay, die de binnenplaats openbrak om een uitzicht over de Indre te creëren. Ook bouwde de markies voor zijn zoon en schoondochter een woonvleugel tegen de westelijke vleugel van het kasteel aan. Van zijn hand zijn ook de tuinterrassen. Na de markies had het kasteel verschillende eigenaren, onder wie de gravin de La Rochejacquelin die Château d’Ussé van 1829 tot 1883 in haar bezit had. Zij was ook de laatste die nog belangrijke toevoegingen aan het kasteel liet uitvoeren. Ze liet het na aan haar neef, graaf De Blacas. Het kasteel is vandaag de dag nog steeds in handen van zijn afstammelingen.