남악서원은 신라 김유신 장군이 삼국통일을 완수하기 위해 전략상의 요충지를 찾아다니다가, 이곳 금산 아래서 진을 치고 휴식하던 중 비몽간에 신령이 나타나 삼국통일의 위업을 가르침 받아 높은 공을 세웠다고 전한다. 1922년 지방 유림이 중건하고, 경주 서악서원의 이름을 본떠 남악서원이라고 하였다. 사당에는 김유신 장군과 최치원 선생, 설총 선생의 영정을 봉안하고 있다. 사당과 서원, 솟을대문이 남북 축상에 놓여 있고, 서원 좌우에 정면 4칸, 측면 2칸의 재가 각각 마주 보고 있는 □자형의 좌우대칭 배치를 나타내고 있다. 서원은 정면 4칸, 측면 2칸의 오량구조 팔작지붕이다. 특이한 점은 대청이 없고, 툇마루가 확장되어 대청의 기능을 하고 있고, 사당은 서원 바로 뒤에 높게 자리 잡고 있으며, 정면 3칸, 측면 1칸의 3량 구조 팔작지붕이며, 전퇴칸이 없는 평면형이다.