이 서원은 1613년(광해군 5)에 지방유림의 공의로 이현보 선생의 학문과 덕행을 추모하기 위해 향현사를 창건하여 위패를 모셨다. 그 후 1700년(숙종 26)에 서원으로 개편하여 선현배향과 지방교육의 일익을 담당하여 오던 중 대원군의 서원철폐령으로 1868(고종 5)년에 훼철되었으며, 1967년 옛터 서쪽에 복원하고 영정을 봉안하고 석채례를 행했다. 1976년 안동댐 건설로 수몰되게 되어 운곡에 도곡재사 옛터에 서원과 종가를 이건 하였다가 2006년 농암유적지 정비사업의 일환으로 지금의 자리에 옮겨 오늘에 이르고 있다.