서산사[西山寺]가 언제 창건되었는지는 기록이 없어 알 수 없고, 고려 후기인 1375년(우왕 1)에 내월리 선왕산 뒤편에 처음 세워졌었다는 구전이 전해질 따름이다. 이 외의 사적에 대해서는 명확히 알려진 바가 없으며, 주지의 설명에 의하면 조선시대 억불정책으로 위축되었던 포교활동을 1898년 목포 개항과 함께 다시 시작하려 하였으나 산길이 너무 험해 1920년에 현재의 위치로 옮기게 되었다고 한다. 서산사는 불교의 미타신앙과 토착적인 용왕 산신신앙이 복합된 신앙을 내용으로 섬 주민들 사이에 자리 잡은 것으로 보이며, 나한기도의 도량으로서 불자들의 발길이 이어지고 있다. 또한 비금도의 유일한 사찰이기에 여기에 들르는 관광객들이 꼭 한 번은 찾아가는 명소이기도 하다.