张汤刚刚因为更改刑律法令而做了廷尉,汲黯就曾屡屡在皇上面前质问、指责张汤,对他说:“你身为正卿,对上没能弘扬先帝的功业,对下无法遏止天下人的邪念。或是安国富民,或是使监狱中罪犯减少,这两样中你一样都没有做。相反,你却在罗织他人的罪名,大肆破坏律令,靠任意断案来成就你的功名,你怎么竟敢乱改高祖定下的法制呢?你这么做会断子绝孙的。”当时汲黯与张汤争辩,张汤在辩论时总爱深究文辞,苛求小节。汲黯则出语刚直严厉,志气高昂,但不能驳倒张汤,他愤愤地骂张汤道:“天下人都说不能让刀笔小吏位列公卿,果真是这样。如果真要依照张汤制定的法令行事不可,必然使得天下人恐惧得叠起脚来不敢迈步,眼睛也只能斜视了!”
这时,正值汉朝征讨匈奴,招抚各地的少数民族。汲黯力求少事,常建议皇上与匈奴和亲,不要兴兵征讨。皇上正倾心于儒术,尊崇公孙弘,对此不以为意。等到国内事端纷起,官吏和民众都投机取巧以玩弄法律时,皇上这才分条别律,严肃法纪,张汤等人屡屡进奏他所审判的要案,因而得到皇上的宠幸。而汲黯却常常诋毁儒术,当面抨击公孙弘等人心怀奸诈而外逞智巧,靠着阿谀奉承讨好主上,而刀笔小吏专门苛究律条,巧言诋毁,构陷他人的罪责,使真相不得昭示,并把破案作为邀功的资本。皇上越来越倚重公孙弘和张汤,公孙弘和张汤则深恨汲黯,就是皇上也不喜欢汲黯,想找个借口杀死他。公孙弘做了丞相后,向皇上建议:“右内史所管辖的范围内有很多达官贵人和皇室宗亲,很难治理,不是平素就有声望的大臣不能担当这样的重任,请朝廷调任汲黯做右内史。”汲黯做了右内史好几年,任中政事从未荒废过。