张汤是西汉首都郊区（杜县，陕西西安东南）人，相当于现在的北京密云、房山一带的人。他父亲老张，是长安县的小官，有一次出门，让张汤看家。老张办完事儿回来，发现家里的肉被老鼠偷了，十分火大，就抽了张汤一顿鞭子。

张汤没来由被暴揍一顿，也十分火大，就把老鼠洞挖开，逮捕了偷肉的老鼠，取回了没吃完的肉，举告老鼠的罪行，对老鼠严刑拷打，反复审问，记录问讯笔录，撰写判决报告，就差让老鼠签字画押了，最后给老鼠定了个分尸处死的罪。

老张看到这一幕，非常震惊，因为张汤还是个孩子啊！不但审判有模有样，连判决词都像是老练的法官所写。于是，老张就把张汤向司法方向培养。老张死后，张汤当了长安县的吏员。

周阳侯田胜（武安侯田蚡的弟弟，也是武帝刘彻的舅舅），曾经被拘禁在长安县，张汤尽其全力加以保护（司法小吏，既可以把案犯制于死地，也可以救助可能东山再起的大员。张汤，从田胜开始编织自己今后进阶的关系网）。

大约在前141年，田胜出狱，封周阳侯，对张汤自然有所回报，把这个县城小吏拉入了当朝权贵的圈子，从此，这个低级公务员，步入了上流社会。不久，张汤调到内史（长安特别市长）宁成手下，宁成觉得张汤小兄弟不错，就向上级推荐，于是，张汤被调升为茂陵尉，主持陵墓土建工程。

前135年，武安侯田蚡当了宰相，提拔张汤做了御史（检察官）。陈皇后巫蛊案发，由张汤主办，追查深入，很有章法刘彻一看，这小子有点本事，前130年，提拔他当了太中大夫（中级国务官），张汤与赵禹共同制定了各项法律条令，务求繁密严苛。严格控制在职官员，制定了官员知人犯罪不举报就要判刑的“见知法”，使官吏互相监视、互相侦察。从此开始，用法更加严厉刻苛了。

前126年，张汤升为廷尉（司法部长），位列九卿。张汤为人多诈，善施智谋控制别人。他当小官时，就喜欢以权谋私，曾与长安富商田甲、鱼翁叔之流勾结。当了廷尉之后，便结交天下名士大夫，就算内心与他们不合，表面上一定装出仰慕他们的样子。

每次上报判决的疑难案件，都预先向刘彻汇报，刘彻认为对的，就记录下来，作为判案的法规，以廷尉的名义公布，颂扬刘彻的圣明。如果奏事遭到谴责，张汤就认错谢罪，顺着刘彻的心意，一定要举出几个下属，说，他们本来向我提议过，就象皇上责备我的那样，我竟然没有采纳，实在愚蠢。

因此，他的罪常被刘彻宽恕不究。他有时向刘彻呈上奏章，刘彻认为好，他就说，我还真写不来这奏章，是我的部下某某写的。他所处理的案件，如果是刘彻想要加罪的，他就交给执法严酷的去办；要是刘彻想宽恕的，他就交给执法轻而公平的去办。