남성재는 고려시대의 문신 영일 정 씨의 시조 형양공 정습명(?~1151)을 추모하기 위한 재실로 1722년 후손들이 묘소에 묘단을 짓고 제사를 지냈으며, 1742년 현 위치에 묘단과 석상을 신축하였다. 이후 1751년에 묘단 위에 비를 세웠으며, 이듬해 1752년에 비로소 재실을 건립하였다. 창건한 재실이 오래가지 못하고 퇴락하여, 경사가 완만하고 지대가 높은 곳에 1784년에 재건하기 시작하여 1785년에 19칸 규모로 완성하였다. 그러나 규모에 비해 재목이 약하여 기둥이 기울고 도리가 처지며 서까래가 부러지는 등 많이 훼손되어 1801년에 옛 관청의 객사에 개축하기 시작하여 정당 3칸, 재실 4칸, 부곡채를 합하여 총 14칸으로 1808년에 완성하였다. 이것이 현존하는 남성재의 모체이다. 1858년부터 수년에 걸쳐 중수한 바 있으며, 현재는 대문채, 동재, 서재, 재실 등이 남아 있으며 매년 4월 영일 정씨 대종회에서 시조 형양공 단향제를 지낸다.