서거차도는 1600년대 말 한양조씨 조천배의 선조가 처음 입도하였고, 그 후 1700년대 초 밀양 박씨, 김해 김씨, 전주 이씨, 인동 장씨 등이 들어와 살았다. 이들은 하조도, 상조도, 관매도에 이도한 사람들의 후손이다. 주변의 어장이 좋아 1937년 전국 최고의 어획고를 올린 곳으로 옛날에는 이곳에 어획물이 풍부해 파시가 섰다고 한다. 백제시대 제주도를 왕래하면서 이 섬을 경유하게 되어 거차도라 하였는데, 서쪽에 있다 하여 서거차도라 했다. 해남양반 돼지밥 전설이 구전되고 있다.