卡里姆汗堡兴建于1766-1767年（赞德王朝），卡里姆汗邀请当时最好的建筑师和艺术家，从外地甚至国外购买最好的材料，迅速地建成了这座城堡。在赞德王朝，这里用作国王的生活区域。后来改为监狱。1971年，卡里姆汗堡交给伊朗文化遗产组织，改为博物馆。