Lịch sử sau này của Chillon bị ảnh hưởng bởi ba thời kỳ chính: Thời kỳ Savoy, Thời kỳ Bernese và Thời kỳ Vaudois.[1] Các phần lâu đời nhất của lâu đài chưa được xác định niên đại, nhưng bản ghi đầu tiên của lâu đài là vào năm 1005.[2]

Từ giữa thế kỷ 12, lâu đài là ngôi nhà mùa hè của Bá tước nhà Savoy, người giữ một hạm đội tàu trên hồ Geneva. Sau đó lâu đài được xây lại vào thế kỷ XIII từ lâu đài cũ thế kỷ trước đó và có vai trò như một pháo đài thời trung cổ để án ngữ một trong những con đường chính qua St. Bernard, Italia và là vị trí chiến lược phòng chống các lực lượng xâm nhập[3] bởi Pierre II của Savoie, do sự thiết kế của kiến trúc sư Pierre Mainier. Lâu đài là một quần thể 25 công trình xây dựng với gần 100 tòa nhà, dài 110m và bên rộng nhất là 50m..[4]

Trong Chiến tranh tôn giáo thế kỷ 16, nó được sử dụng bởi các công tước xứ Savoy để giam giữ các tù nhân. Tù nhân nổi tiếng nhất của nó có lẽ là François de Bonivard, một tu sĩ Genevois, trước Thánh Victor ở Geneva và chính trị gia đã bị giam cầm ở đó vào năm 1530 đến 1536 vì bảo vệ quê hương khỏi công tước Savoy.[3] Vào năm 1816, thi sĩ Lord Byron nhắc đến trong những bài thơ viết về tù nhân của lâu đài (1816) với sáng tác "Người tù của Chillon".