“喀山”名稱起源不明，可能源自保加利亚语或鞑靼语中的同一个词“qazan”，意为锅炉或大锅，另说可能源自鞑靼语的“qazğan”，意为垄沟。

由于早期的文字记录较少，关于喀山的建城有着长期的争论：两者一方认为喀山由伏尔加保加利亚人在中世纪初期创立，而另一方则认为城市是金帳汗國时期的鞑靼人在15世纪中期建立的。如果有伏尔加保加利亚人城市在那附近，它的创立时期大约是从11世纪到13世纪之间，即伊斯克喀山。它是伏尔加保加利亚人与两个芬兰人部落（马里人和乌德穆尔特人）的边界站。另外还有一个比较困扰的问题是，城堡究竟建在何处并不清楚。考古学的探索在现代城市境内找到了三个有证据表明的城市定居点：克里姆林宫、在吉兰特修道院内的比斯巴尔塔附近和卡班湖附近。

最古老的村庄可能是建于11世纪的喀山克里姆林宫。11世紀時，伏尔加保加利亚接受伊斯蘭教信仰。

在11世纪—1220年之前，喀山可能是从斯堪的那维亚到大伊朗的伏尔加贸易路线中的一站，并应是商业中心。且是伏尔加保加利亚定居者在此地区的一个大型城市，尽管他们的首都实际上在南方很远的保加尔市。

随着哲别、速不台的军队在1223年9月对保加尔市和比拉两地区的杀掠蹂躏，在13世纪许多来自保加爾地区的人，逃难到了喀山。喀山成为了金帐汗国下一个附属的喀山公国的中心。两个世纪后的1430年代，一个鞑靼贵族兀魯·穆罕默德篡夺了原保尔加王室的权力。另一些鞑靼人则在维陶塔斯的带领下，逃难到了立陶宛大公国（12世纪—1385年）。

1438年时，金帐汗国衰败，喀山便成为了强大的喀山汗國的首都。城市中的巴扎是十分重要的商业中心，特别是家具业。喀山的城堡和布拉克运河重建，给予了城市强大的防御力量。俄国人曾数次短期占领城市，但每次都被迫撤离。

莫斯科大公伊凡四世称帝后，新成立的俄罗斯沙皇国四处扩张。1552年年，喀山围困战后，这座城市终于在伊凡雷帝的亲征下被攻占，大量人口遭到屠杀。在将军亚历山大・郭尔巴提-述伊斯吉（俄语：Горбатый-Шуйский, Александр Борисович）担任总督期间，大多数喀山汗國的鞑靼居民被强迫转信东正教成为克拉珊人或被杀戮，清真寺与宫殿均被破坏。剩余的鞑靼人口均被强制迁移至城外50公里处，原城市被俄罗斯农民和士兵占领。服役鞑靼人则住在城墙附近的定居点，不久鞑靼族商人和手工艺人也在该处定居。在这一时期，由于几次大火，喀山被严重毁坏。在1579年的一次大火后，城市中发现了俄罗斯正教最为灵验的喀山圣母像。在17世纪初期，俄罗斯进入了无主的混乱时期，喀山沙皇国在俄罗斯人民的帮助下宣布独立，但后在1612年被库兹马·米宁镇压。

1708年，喀山沙皇国被废止，喀山成为了喀山省的中心。在彼得一世前往视察后，这里成为了里海舰队的造船中心。喀山在1774年由于普加乔夫起义被叛乱分子的军队占领后摧毁，叛乱军队的主要组成为边境部队和农民，并由顿河哥萨克上尉叶米里扬·普加乔夫领导。但新城不久后在凯瑟琳大帝时期被重建，1770年代巡视喀山后的叶卡捷琳娜也下达命令允许喀山重建清真寺[1]，第一个建立起来的就是马儿卡尼清真寺。在19世纪初期，亚历山大一世建立了喀山大学及出版社。它成为了俄罗斯的东方学研究中心。1801年，古兰经首次在喀山印刷。喀山成为了一个工业中心，农民纷纷移民至此成为产业劳动力。1875年，马拉客车出现了，1899年则建设了有轨电车。1905年俄国革命后，喀山允许被鞑靼人视为鞑靼文化中心，第一家鞑靼剧场和第一份鞑靼报纸也随之出现。

1917年时，喀山也是十月革命的一个中心，在短暂成为阿的里-乌拉尔国首都之后，政权于1918年被布尔什维克政府击溃。在1918年8月的喀山行动中，捷克斯洛伐克兵团也曾短暂占领过城市并试图助其复国。俄国内战基本结束后，1920年喀山成为了鞑靼苏维埃社会主义自治共和国的首府。同苏联其他地区一样，在1920年代和1930年代时鞑靼斯坦境内包括清真寺和教堂等宗教场所也多被摧毁。1922年，拉帕洛条约签订后，苏联与德国魏玛共和国合作，在喀山设立喀马坦克学校。苏德战争时期，由于苏维埃欧洲部分西部的工业向东搬迁到乌拉尔地区，喀山成为了国防工业的中心，主要生产飞机和坦克。战后喀山作为工业和科技中心的地位被进一步巩固。1979年时，城市人口达到一百万。

1991年苏联解体后，喀山重新成为了鞑靼文化的中心，并加剧了其分离倾向。在资本主义转轨时期，喀山成为俄联邦重要的城市之一，俄罗斯城市人口排名也由第十升至第六。自新千年起，喀山开始重新进行大幅整修，包括喀山克里姆林宫在内的历史中心均被重修。喀山在2005年庆祝了建城千禧年，因喀山历史委员会官方认定1005年为喀山城市建立年[2]。俄罗斯最大的清真寺，位于喀山克里姆林宫内耗资超过一亿美元[3]的庫爾沙里夫清真寺，于当年完工为此献礼；喀山圣母圣像亦被重请回城，千禧桥同年落成[4]，地铁线路也在2005年开通。

2000年代末喀山获得了2013年夏季世界大學運動會的举办权。该城市也是2015年世界游泳錦標賽和2017年世界武术锦标赛的举办地。2018年世界杯足球赛部分比赛也在该城市进行。