陛下哀愍百姓,恐德化之不究,悉出谏官以补郡吏,所谓忧其末而忘其本者也。朝无争臣则不知过,国无达士则不闻善。愿陛下选明经术,温故知新,通于几微谋虑之士以为内臣,与参政事。诸侯闻之,则知国家纳谏忧政,亡有阙遗。若此不怠:成康之道其庶几乎!外郡不治,岂足忧哉?③
宣帝强调官员的行政管理能力,并以此作为提拔官员的重要标准。萧望之那句大胆的反问“外郡不治,岂足忧哉?”和宣帝有关帝国治理的基本理念直接冲突,但萧望之却没有受到惩罚。班固记载道,接到奏疏,宣帝马上将萧望之召回朝廷,任命他为少府。①宣帝对萧望之的信任未尝稍减。在做了六年九卿后,前59年他被任命为在官僚集团里仅次于丞相的御史大夫。三年后,他因为对当时的丞相丙吉简傲无礼以及滥权被弹劾。尽管宣帝之前曾处决过一些高官,但却表示自己不忍将萧氏下狱:他只是将萧望之贬为太子太傅。
这次贬官并没有让萧望之在政界边缘化。他仍然在朝中极有影响力,还积极参与廷辩。前51年,匈奴首领归降汉廷。宣帝命宫廷画师在麒麟阁作11位名臣肖像画,萧望之也在其中。太子太傅的官位远在三公九卿之下,但宣帝还是坚持让萧望之的画像入麒麟阁,而当时的丞相与御史大夫却无缘入选。②