조선 태조 이성계가 이곳의 작은 굴에서 기도하여 개국의 뜻을 이루었으므로 1396년(태조 5)에 달마대사께서 9년 동안 면벽좌선한 승산 소림사의 이름을 따서 ‘소림굴’이라 하였다고 한다. 왕명을 받아 사찰을 직접 창건한 사람은 혜철스님으로 창의문 밖에 관음보살을 모시게 된 것이다. 이후 『조선왕조실록』에 중종과 선조 때 소림굴에 관한 기록이 있는 것으로 보았을 때 당시에도 사찰이 계속 운영되었음을 알 수 있다. 특히 선조 때의 기록에 의하면 이곳에서 수륙재를 시행했음을 알 수 있다. 그 후 1817년(순조 17)에 관해스님이 중건하면서 ‘소림사’로 명칭을 바꾸었다. 1913년에 두삼스님이 대방 불사가 있었고 1933년에 칠성각, 1935년에는 대웅전, 그리고 1942년에는 대방과 산신각이 각각 용호스님에 의해 중수되었다. 근래에 소림사는 비구니 도량으로 1979년부터 2003년 사이에 혜윤스님의 원력으로 대웅전을 비롯하여 삼성각, 요사채, 약사전 중창불사를 통해 현재에 이르고 있다.