На вершине горного образования стоит церковь, построенная между VI и VIII веками. До прихода христианства Кацхинский столп почитался местными жителями как символ бога плодородия. После прихода в Грузию христианства столп не потерял своё культовое значение. Люди верили, что это место, где человек может приблизиться к Богу. На вершине горы христиане возвели храм и отправляли религиозные обряды до тех пор, пока не началось вторжение Османской Турции.

Церковь была заброшена. В XVIII веке принц Багратиони попробовал забраться на вершину горы, однако все попытки закончились неудачей[1]. В 1944 году исследовательская группа во главе с альпинистом Александром Джапаридзе и писателем Леваном Готуа совершила первый подъём на гору и установила, что здесь когда-то был храм. После этого местные жители начали совершать паломничество к храму. Особенно часто храм стали посещать к началу 1990-х годов, в период возрождения христианства в Грузии. Особое влияние на данные события оказал монах Максим, который в 1993 году перебрался в Кацхи и жил всю зиму в гроте под каменной колонной. Максиму начали давать пожертвования для возрождения храма[2]. При финансировании государства с 1999 по 2009 год на руинах храма проходили археологические исследования, после чего храм был снова возведён и назван в честь Максима Исповедника. Археологи обнаружили останки неизвестного монаха. Сегодня местные жители называют храм «Крепостью одиночества»[3].