본관은 청풍(淸風). 자는 일정(一正), 호는 귀계(歸溪) 또는 귀천(歸川). 김비(金棐)의 증손으로, 할아버지는 참봉 김흥우(金興宇)이고, 아버지는 영의정 김육(金堉)이며, 어머니는 윤급(尹汲)의 딸이다.
1633년(인조 11) 사마시를 거쳐, 1644년 별시 문과에 병과로 급제해 승문원에 사국(史局)으로 등용된 뒤, 박사·설서(說書)를 거쳐 홍문관에 전임되었다. 1646년 병조좌랑이 되어 다시 문과 중시에 병과로 급제, 1648년 수찬(修撰)이 되었다가 안변(安邊)으로 귀양갔다. 이듬해에 풀려나, 이조좌랑·대사헌·경기도관찰사·도승지·이조참판 등을 두루 지냈다.
현종 초에 공조참판에 임명되었으나 극력 사양하였다. 대신 이 때 아버지가 생전에 호남 지방에 실시하게 한 대동법의 시행에 애로가 있음을 한탄하고 아버지의 유지를 펴기 위해 호남관찰사로 임명해줄 것을 간청했으나 뜻을 이루지 못하였다.
1662년(현종 3) 공조판서·예조판서를 역임할 때, 현종 즉위 초에 좌참찬 송시열(宋時烈)의 제안으로 실시되던 전라도 산군(山郡)의 대동법이 중단된 것을 재차 주창, 시행하게 하였다. 그리고 아버지의 유언에 따라 『전라도대동사목(全羅道大同事目)』을 전라감사 서필원(徐必遠)과 함께 주관, 강정(講定: 강론해 정함)해 이듬해에 발표하였다.
1668년 병조판서 겸 수어사가 되어 노량의 대열병(大閱兵)을 시행해 흩어진 군율을 바로잡았고, 병기·군량을 충실히 하였다. 한때 호조판서가 되어 크게 국비를 덜어 재정을 윤활하게 하였다. 사람됨이 총명하고 재주가 많았으며 용모가 단정하였다.
특히, 호조판서가 되자 서리(胥吏)들의 부정이 줄었고, 병조판서가 되니 무사가 존경으로 따를 정도로 군율이 엄격하고 공정했으며, 모든 업무에 과단성이 있고 공정하였다. 현종의 비인 명성왕후(明聖王后)의 큰아버지인데도 조정에서는 믿고 중용하였다.
특히, 아우 김우명(金佑明)이 척족으로 권력을 잡았을 때에 서인(西人)이 낙당(洛黨)과 한당(漢黨)으로 나뉘었으며, 아버지 묘의 수도사(隧道事)가 당쟁의 논란이 되었을 때도 별로 휘말리지 않아 명망을 얻었다.
글씨에 능했고, 도연명체를 본받아 필법에 있어 글씨의 획이 힘찼다. 영의정에 추증되고, 청릉부원군(淸陵府院君)에 추봉되었다. 현종의 묘정(廟庭)에 배향되었다.
저서로 『귀계유고(歸溪遺稿)』가 있다. 글씨로는 고성의 유점사춘파당대사비(楡岾寺春坡堂大師碑), 안동의 권태사묘비(權太師廟碑), 양주의 김식비(金湜碑)가 있으며, 그 밖에 김육비(金堉碑)·이수일비(李守一碑)·김장생묘표(金長生墓表) 등이 있다. 시호는 충숙(忠肅)이다.

출처/한국민족문화대백과, 한국학중앙연구원