Het kasteel, uit de dertiende eeuw, is een van de best bewaarde middeleeuwse kastelen van Europa. De reden om het kasteel op deze rotspunt in het meer van Genève te bouwen, is de strategische positie: steil aflopende rotsen aan één kant en aan de andere kant het meer, dat op deze plek 300 meter de diepte ingaat. In de bronstijd was er geen pad rond het meer, de route liep op deze plek 200 meter hoger over de rotsen. De Romeinen openden een smal pad langs de meeroever. Tevens openden ze de Grote Sint-Bernhardpas, wat deze routes in deze tijd tot de enige route tussen Noord- en Zuid-Europa maakte. Later, in de middeleeuwen, nam de hoeveelheid verkeer toe, wat het heffen van tol mogelijk maakte. Het is in 1150 dat de naam “Chillun” wordt vermeld in een document. Het zijn de graven van Savoye, en in het bijzonder Peter II van Savoye (1203-1268) die Chillon uitbreiden en er een residentie van maken. Het is onder zijn architect Pierre Marnier dat het kasteel zijn huidige vorm heeft gekregen. Onder het huis Savoye groeit het kasteel uit tot een belangrijke vesting en gevreesde gevangenis. Een bekende gevangene is de Geneefse denker François Bonivard, die hier zes jaar (1530-1536) gevangen heeft gezeten en werd bevrijd door troepen uit Bern. De Berners gebruikten het kasteel voornamelijk als opslagplaats, arsenaal en residentie. Ze verlaten het kasteel in 1789 tijdens de revolutie gesteund door Frankrijk waarbij het kanton Vaud wordt gevormd na twee eeuwen overheersing door Bern. Bekende bezoekers van het kasteel zijn Lord Byron (28) en Mary Shelley (24) geweest, in 1816. De eerste schreef een lang gedicht over Bonivard, “Prisoner of Chillon”.