서벽정은 조선 말기 대사헌의 벼슬에 올랐던 연재 송병선이 당시의 세태를 비판하고 은둔생활을 하던 중 이 고장을 찾아왔다가 구천동의 아름다움에 반해 이곳에다 집을 짓고 머물면서 영·호남의 선비들과 시국을 논하며 후진을 양성하던 곳이다. 구조는 막돌로 쌓은 석축 기단 위에 주춧돌을 놓고 세운 정면 4칸, 측면 3칸의 팔작지붕의 주심포집이다. 정면 좌·우측 1칸씩은 누각처럼 바닥을 기둥 가운데에 올려 앉혔는데, 좌측은 높고 우측은 낮다. 전체적으로 단아한 사대부의 재실 모습을 지녔다. 한때 화재로 소실되었던 것을 고종 28년(1891)에 재건하였으며, 한국전쟁 때에는 북한군의 숙영지 역할을 하기도 하였다. 고종 광무(光武) 원년(1897)에 무주 군수 조병유(趙秉瑜)가 주자(朱子)와 송시열의 초상을 봉안하였다. 연제 송병선은 1905년 을사조약이 체결되자 망국의 비분을 참지 못하고 자결로서 충절을 지킨 충신이다. 송병선의 자는 화옥(華屋)이며 본관은 은진(恩津)으로 우암(尤庵) 송시열(宋時烈)의 9세손이다. 학문과 절제 있는 행동으로 천거받아 좨주(祭酒)에 기용된 뒤 서연관(書筵 官)·경연관(經筵官)·지평(持平)을 거쳐 대사헌(大司憲)에 이르렀으나 취임하지는 않았다. 그는 ≪벽사설(闢邪說)≫을 지어 양학(洋學)을 배척하고, 일본과의 개국 통상을 반대하였다. 1905년 을사조약이 체결되자 시정 개혁과 일본에 대한 경계를 건의하여 왕의 동의를 얻었다. 뒤에 다시 대궐에서 왕에게 상소하려다가 경무사(警務使) 윤철규(尹喆圭)에게 속아 일본 헌병대에 의해 고향으로 이송 당하자 망국의 울분을 참지 못하고 음독 자결하였다. 고종에게서 의정(議政)에 추증되고 문충(文忠)이라는 시호를 받았으며, 1962년 대한민국 건국공로훈장 단장(현 건국훈장 독립장)이 추서되었다. 저서로는 ≪무계만집≫이 있고, 문집으로 ≪연재집≫이 간행되었다.