명종 즉위년(1545)에 을사사화가 일어나자 학자인 하서 김인후가 관직을 그만두고 세상을 피해 숨어 살던 곳이다. 김인후는 낙덕암 주위의 산세를 유난히 좋아했던 것으로 전하며, 자연을 즐기는 한편 후세들에게 성리학을 가르쳤다. 고종 4년(1900)에는 훗날 이곳에서 훌륭한 인재가 나올 것이라는 김노수의 예언을 따라 낙덕암 위에 정자를 지어 오늘에 이르고 있다.