센고쿠 시대의 잇코잇키의 혼간지의 거점이 놓인 오야마 고보(가나자와 고보)와 그 주변의 사원 마을을 기원으로 한다. 오다 노부나가의 부하인 시바타 가쓰이에의 조카 사쿠마 모리마사가 오야마 고보를 공략하고 그 땅에 오야마 성을 축성했다.

시즈가타케의 전투 이후 마에다 도시이에가 오야마 성(가나자와 성)을 거성으로 해 가가번의 원형이 형성되었다. 가가 번 3대째 지방 영주 마에다 도시쓰네의 시대에는 지배 기구를 정비해 번체제가 확립되었다. 5대째 지방 영주 마에다 쓰나노리는 명군으로서 유명하고 기노시타 준안이나 무로 규소, 이노 자쿠스이와 같은 학자를 초빙해 학문을 진흥시켰다. 또 그는 서적과 미술 공예품의 수집에도 노력했고 그것들은 존경각문장(尊経閣文庫)으로 불리며 현재에도 남아 있다. 이후 가나자와는 150여년에 걸쳐 가가국의 백만석의 성시로서 번영하게 된다. 산킨코타이 때 마에다 씨는 약 2,000명의 부하들을 따르게 했고 현재의 가치로 편도 약 7억엔을 들여 에도와의 사이를 왕래했다. 가나자와는 에도 시대에 삼도(에도, 오사카, 교토)에 뒤이은 일본 제 4위의 인구(약 10만 명)를 대도시로서 발전해 미술 공예 등 현재까지 이어지는 도시 문화가 꽃피었다.

메이지 시대에 들어서면서 구제 제4 고등학교(가나자와 대학의 전신)와 러일 전쟁의 뤼순 공위전으로 알려진 육군 제9사단이 놓여 학원도시·군 수도로서 번창하였다.

1889년 4월 1일 - 가나자와 시가 성립하였다. 1925년 4월 1일 - 노 촌을 편입하였다. 1925년 4월 10일 - 유미토리 촌을 편입하였다. 1935년 12월 16일 - 오노 정·아와가사키 촌·구라쓰키 촌·도가시 촌·가타노쓰 촌·요네마루 촌을 편입하였다. 1936년 4월 1일 - 고사카 촌·민마 촌·사키우라 촌을 편입하였다. 1943년 10월 1일 - 도이타 촌을 편입하였다. 1943년 12월 1일 - 가나이와 정·오노 촌·후타쓰카 촌을 편입하였다. 1949년 6월 1일 - 가와키타 촌을 편입하였다. 1954년 7월 1일 - 우치카와 촌·사이가와 촌·누카 촌·야스하라 촌·유와쿠다니 촌을 편입하였다. 1956년 1월 1일 - 오시노 촌을 편입하였다. 1957년 4월 5일 - 아사카와 촌을 편입하였다. 1962년 6월 1일 - 모리모토 정을 편입하였다.