고대에는 소륵국(疏勒國)의 수도였다. 소륵국도 그 중의 하나이다. 흉노가 강성했던 시대에는 간접지배를 받았다. 한나라는 둔황 지역에서부터 서역에 장건과 반초를 파견해 무역을 시도하였다. 그 세력 아래로 들어가게 되었다.유연이나 돌궐 등의 지배하에 있었다. 소륵은 타림분지 남부를 지나는 실크로드 남로의 요충지이며, 이 땅을 방문한 당나라의 현장은 소륵을 불교가 번성한 나라라고 기술하고 있다.

북방의 몽골고원에서 서돌궐을 대신하였던 위구르가 9세기가 되어 약해지면서, 키르기즈에 멸망 당하자 위구르족이 대거 서천, 타림분지로 남하하였다. 위구르는 토하라인 민족과 혼혈해, 이 땅의 언어가 위구르화되었다. 10세기에는 최초의 터키계 이슬람 왕조인 카라한 왕조의 세력이 파미르고원을 넘어 카슈가르에 들어와 그 왕도가 된 적도 있다.

송나라 때에는 거란족이 세운 서요에 속하였으며, 원나라 때에는 차가타이 한국의 도시가 되었고, 야르칸드 한국에 속했다. 이러한 역사 속에서 카슈가르는 이슬람화된 위구르족의 종교 중심지가 된다. 청나라 때는 카슈가르 곧 례주가 설치되어 신강 남부를 통치하는 참찬대신이 주재했다. 청나라 말기의 혼란기에는 코칸드 한국에서 온 야크브 베크가 카슈가르를 거점으로 잠시 타림분지 일대를 지배했지만, 좌종당에 의해 토벌 되었다.

청나라가 멸망하고, 1913년에 소륵현이 설치되어, 1933년부터 다음 해에 걸쳐 단기간이지만 동투르키스탄 이슬람 공화국이 이 땅에 섰던 적도 있다. 중화인민공화국 성립 후, 1952년에는 소륵현에서 카스 시가 분리되어 떨어져 나왔다. 1986년 대외로 개방되면서 동시에 국가역사문화명성으로 지정되었다. 시내에는 카스 지구 행정관공서가 설치되어 있다.

위구르족이 많아 동쪽 투르키스탄 분리운동이 번성하고, 신장 위구르 자치주의 분리독립을 위한 테러사건이 일어나기도 했다.