张伯行自幼即聪敏好学,十三岁时就通读了四书五经。在康熙二十年,即公元1681年,张伯行考中了举人,四年后中殿试三甲八十名,赐进士出身。康熙三十一年,即公元1692年,补授内阁中书,从此步入仕途。当时百姓称赞他是“天下第一清官”。

　　康熙四十二年,张伯行授任山东济宁道,当时正值灾荒,人民流离失所。他就让人从家中运粮食救济灾民,又捐出几船钱帛分发给百姓。到任后立即开仓赈济,帮助百姓渡过难关。康熙四十五年,张伯行升任江苏按察使。作为巡抚的属下,按照当时的官场旧例,新任的官员要给巡抚、总督等上司送礼,有利于以后的提拔,这大概需要白银四千两。但张伯行秉性耿直,他对这种腐败风气深恶痛绝,他说:“我为官,誓不取民一钱,安能办此!”拒绝送礼。不但如此,在任内他还尽力革除地方弊病,整顿吏治,因而得罪了总督和巡抚,常受到他们的排挤。

　　此后张伯行在福建巡抚任上为百姓也做了很多好事。福建人多地少,每年都要从其他省购买粮食。前几任巡抚从不过问此事,奸商趁机囤积居奇,牟取暴利。张伯行经过调查,弄清原委之后,当即决定由政府从江西等地买来粮食,平价卖给百姓。这样一方面使百姓免受奸商盘剥,另一方面赚的钱下一年可以用来救济老百姓。另外,他捐献衣物钱财,赈济一些受害的百姓。在他任职期间,没有老百姓因灾荒和饥饿而背井离乡。

　　康熙四十八年,张伯行又奉旨调任江苏巡抚,福建百姓痛哭相送。赴任后,张伯行立即发布檄文《禁止馈送檄》,严禁下属馈送钱物。他曾写道:“一黍一铢,尽民脂膏。宽一分,民即受一分之赐;要一文,身即受一文之污。虽曰交际之常,于礼不废。试思仪文之具,此物何来?本都院既冰蘖(音聂)盟心,各司道亦激扬同志,务期苞苴永杜,庶几风化日隆。”张伯行力求赋税宽简,平常公务也杜绝礼品,不受一分一毫。有的州县官吏为了靠业绩升迁,不顾百姓困苦任意加重赋税,老百姓不堪忍受。张伯行就废除了许多的苛捐杂税。张伯行如此廉洁,却因为和总督的矛盾很深,备受压制,在康熙四十九年,张伯行以病为理由请求退休。康熙爱惜人才,不准他退休:“张伯行操守清洁,立志不移,朕所深悉。江苏重地,正资料理,不得以衰病求罢。”张伯行只好忍辱负重,继续任职,为民为国尽力。康熙五十四年,有人以“狂妄自矜”的莫须有的罪名弹劾张伯行,但康熙皇帝还是认为他无罪可治,留任南书房行走,后来,在康熙五十九年又任户部右侍郎。康熙六十一年,张伯行奉旨赴千叟宴,康熙皇帝称赞他是“真能以百姓为心者”。

　　1725年二月十六日,张伯行病逝,享年七十五岁。皇帝赐谥“清恪”,意思是为官清廉,恪尽职守,这两个字精确概括了张伯行的一生。