귤림서원은 제사 기능을 가진 충암묘와 교육 기능을 가진 장수당이 복합되어 이루어진 서원이다. 1578년에 제주판관 조인후가 기묘사화로 제주도에 유배되어 사사된 김정의 넋을 위로하기 위하여 그의 적거지에 사묘를 세운 것에서 비롯되었다. 그 후 1660년 제주목사 이괴가 장수당을 건립하였고, 1667년에는 제주판관 최진남이 김정의 사묘를 장수당 남쪽인 현재의 오현단 안에 옮겨 짓고, 이를 사로 하고 장수당을 재로 하여 귤림서원이라 현액하였다. 1682년 신경윤이 제주목사로 있을 때 예조정량 안건지를 제주도에 파견하여 귤림서원으로 사액을 하고 김정, 송인수, 김상헌, 정온의 4현을 봉향하다가 1696년에 이익태 절제사 때 송시열이 추향됨으로써 5현을 배향하게 되었다. 1871년 서원 철폐령에 의해 폐원되었는데, 1892년 제주 사람 김의정이 중심이 되어 귤림서원 자리에 오현의 뜻을 후세에 기리고자 조두석을 세우고 제단을 쌓아 제사를 지내기도 하였다. 2000년 이후 귤림서원 복원 작업에 들어간 제주시는 학생들이 공부하던 장수당과 협문, 돌담 등을 완성한 데 이어, 2007년 8월 향현사 복원을 마무리 지었다. 조선 시대 유학과 유교 문화의 전당으로 제주 유생들의 지주 역할을 하였던 귤림서원이 복원됨으로써 제주 선현의 정신을 되살리는 계기를 마련할 수 있게 되었다.