カリャージンは12世紀の記録に集落（スロボダ：入植地であるなどの理由で税の支払いを免除された町）として登場する。ヴォルガ右岸（南岸）のカリャージンは、対岸に15世紀に建てられたマカリェフスキー修道院が大きくなるとともに重要性を増した。この修道院はカリャージンでも最も目立つ建物で、1525年築の食堂をはじめ歴史的に興味深い建築が集まっていた。

1940年、ウグリチの町のすぐ上流にウグリチ貯水池が建設されたことにより、古くからの町とその対岸の修道院は水没した。街は高台に移設され現在に至る。水没した修道院のうち鐘楼はダム湖の中の島に取り残されて現存しており、依然カリャージンのシンボルとなっている。