『위서』 제114 권 「석노지」를 보면, 태화 20년인 496년에 북위 효문제가 464년에 중국으로 와서 인도 불교를 전파하기 시작한 인도 승려 발타[1]를 주지로 하여 소실산음[2]에 소림사를 창건하였다.[3] 그리고 북주 시대에 파괴되었으나 수 시대에 문제에 의해 재건되었다.

태화 20년인 496년에 북위 효문제의 명으로 인도 승려 발타를 주지로 하여 창건[4]되었을 당시 소림사의 구조는 복잡하지 않고 간단하였지만, 혁세할 때마다 거듭하여 덧붙여 늘려 지어서 으리으리해진 현재 소림사의 복잡하고 간단하지 않은 구조는 주로 명 대와 청 대의 산물이다.[5]

2010년 8월 2일 세계문화유산에 등재되었다.

소림사에서는 솜씨가 빈틈없이 꼼꼼하고 교묘한 벽화를 이용해 매만져 꾸미고 맵시를 곱게 낸 殿裏가 오늘날까지도 잘 보존된 千佛澱이 인상 깊고 소림사 인근에 있는, 중국 건축 역사상 위대한 사업 일종인 塔林에서는 경이로울 만큼 다양한 탑이 묘소 이백사십륙 개를 수호하듯이 소림사는 구조상 다양성에 선종이 발생한 곳이라는 중요성까지 더해져 중국에서 불교상 중요한 유적이다.[6]