본관은 안동(安東). 자는 구지(久之), 호는 문곡(文谷). 김극효(金克孝)의 증손으로, 할아버지는 김상관(金尙寬)이고, 아버지는 동지중추부사(同知中樞府事) 김광찬(金光燦)이며, 어머니는 목사 김래(金琜)의 딸이다.
1645년(인조 23) 반시(泮試)에 수석하고, 1646년 진사시와 1651년(효종 2) 알성 문과에 장원으로 급제, 전적(典籍)이 되었다. 이어 병조좌랑·사서(司書)·경기도사·지평(持平)·정언(正言)을 거쳐, 1653년 동지사의 서장관으로 청나라에 다녀왔다.
이 해 정시 문과에 5등으로 급제해 효종으로부터 말을 받았으며, 이듬 해 부수찬(副修撰)·교리(校理)를 거쳐 이조정랑이 되어 중학(中學)·한학교수(漢學敎授)를 겸하였다. 1655년 호당(湖堂)에 사가독서하고 수찬이 되었다가, 응교(應敎)·사간·보덕(輔德)을 지냈으며, 중시에서 을과로 급제, 형조참의·승지·부제학을 지냈다.
1659년(현종 즉위년) 효종릉비의 전서(篆書)를 쓴 공로로 가선대부(嘉善大夫)에 오르고, 도승지·예조참판·이조참판을 지냈으며, 1662년 왕의 특명으로 예조판서에 발탁되었다. 그 뒤 육조의 판서를 두루 거쳤고, 특히 이조판서로 있으면서 명사들을 조정에 선임하는 데 힘썼다.
1672년 44세의 나이로 우의정에 발탁되고, 좌의정에 승진해 세자부(世子傅)를 겸하였다. 그러나 서인 송시열(宋時烈) 등이 왕의 경원을 받고 물러남을 보고 남인 재상 허적(許積)을 탄핵한 대간을 힘써 변호하다가 도리어 판중추부사로 물러났으며, 사은사로서 청나라에 다녀왔다.
1674년 갑인예송에서 서인이 패해 영의정이던 형 김수흥(金壽興)이 쫓겨나자, 대신 좌의정으로 다시 임명되었다. 숙종 즉위 후 허적·윤휴(尹鑴)를 배척하고, 추문을 들어 종실 복창군 정(福昌君楨)·복선군 남(福善君柟) 형제의 처벌을 주장하다가 집권파인 남인의 미움을 받아 영암에 유배되고 1678년(숙종 4) 철원으로 이배되었다.
1680년 이른바 경신대출척이 일어나 남인들이 실각하자 영중추부사(領中樞府事)로 복귀, 영의정이 되어 남인의 죄를 다스리는 한편, 송시열·박세채(朴世采) 등을 불러들였다. 이후 8년 동안 영의정으로 있다가 1687년 영돈녕부사(領敦寧府事)로 체임되었다.
1689년 태조 어용(太祖御容: 태조의 영정)을 전주에 모셔놓고 돌아오는 길에 기사환국이 일어나 남인이 재집권하자, 남인의 명사를 함부로 죽였다고 장령(掌令) 김방걸(金邦杰) 등이 탄핵해 진도로 유배, 위리안치되었다.
뒤이어 예조판서 민암(閔黯)을 비롯한 6판서·참판·참의 등 남인 경재(卿宰) 수십 인의 공격과 사헌부·사간원의 합계(合啓: 함께 계문을 올림)로 사사되었다. 이는 경신 이후의 남인 옥사를 다스릴 때 위관으로 있었고, 특히 소론의 반대에도 불구하고 남인 재상 오시수(吳始壽)를 처형했기 때문에 입게 된 보복이었다.
절의로 이름 높던 김상헌의 손자로 가학(家學)을 계승했으며 김장생(金長生)의 문인인 송시열·송준길(宋浚吉)과 종유하였다. 특히 송시열이 가장 아끼던 후배로서 한 때 사림의 종주로 추대되었다. 그러나 서인이 노론과 소론으로 분열할 때 송시열을 옹호하고 외척과 가까운 노론의 영수가 되자, 소론 명류들에게 배척을 받기도 하였다.
시문에 뛰어났고, 변려문(騈儷文)에서는 당대의 제일인자로 손꼽혔다. 또한 가풍을 이은 필법이 단아해 전서와 해서·초서에 모두 능하였다.
사후에 세상의 평가는 그가 조정에서 벼슬할 때 세 가지의 큰 절의를 세웠다고 찬양하였다. 첫째는 남인의 역모를 꺾어 기강을 유지했다는 것이고, 둘째는 소론이 이론(異論: 남인에 대한 온건한 처벌 주장을 말함)을 일삼아 흉당(凶黨: 남인)을 기쁘게 할 때에도 홀로 옳은 것을 지켰을 뿐 아니라 화를 당하면서도 후회하지 않았다는 것이며, 셋째는 스승인 송시열을 배신한 윤증(尹拯)의 죄를 통렬히 배척해 선비의 갈길을 밝혀 사문(斯文)에 도움을 주었다는 것이다.
이러한 세상의 평판은 물론 그가 속한 노론계의 주장이며, 반대로 소론측에서는 그가 송시열과 윤증 사이의 사사로운 일을 임금에게 아뢰어 조정을 시끄럽게 만들었고, 이로 인해 마침내 사림을 분열시켜 놓았다고 비난하였다.
1694년에 신원, 복관되었다. 1886년(고종 23)에는 현종 묘정에 배향되었고, 진도의 봉암사(鳳巖祠), 영암의 녹동서원(鹿洞書院), 영평의 옥병서원(玉屛書院) 등에 제향되었으며, 양주의 석실서원(石室書院), 전주의 호산사(湖山祠)에 추가 제향되었다. 저서로는 『문곡집(文谷集)』 28권이 전하고 있다. 시호는 문충(文忠)이다.

출처/한국민족문화대백과, 한국학중앙연구원