陛下哀愍百姓，恐德化之不究，悉出谏官以补郡吏，所谓忧其末而忘其本者也。朝无争臣则不知过，国无达士则不闻善。愿陛下选明经术，温故知新，通于几微谋虑之士以为内臣，与参政事。诸侯闻之，则知国家纳谏忧政，亡有阙遗。若此不怠：成康之道其庶几乎!外郡不治，岂足忧哉?③
宣帝强调官员的行政管理能力，并以此作为提拔官员的重要标准。萧望之那句大胆的反问“外郡不治，岂足忧哉?”和宣帝有关帝国治理的基本理念直接冲突，但萧望之却没有受到惩罚。班固记载道，接到奏疏，宣帝马上将萧望之召回朝廷，任命他为少府。①宣帝对萧望之的信任未尝稍减。在做了六年九卿后，前59年他被任命为在官僚集团里仅次于丞相的御史大夫。三年后，他因为对当时的丞相丙吉简傲无礼以及滥权被弹劾。尽管宣帝之前曾处决过一些高官，但却表示自己不忍将萧氏下狱：他只是将萧望之贬为太子太傅。
这次贬官并没有让萧望之在政界边缘化。他仍然在朝中极有影响力，还积极参与廷辩。前51年，匈奴首领归降汉廷。宣帝命宫廷画师在麒麟阁作11位名臣肖像画，萧望之也在其中。太子太傅的官位远在三公九卿之下，但宣帝还是坚持让萧望之的画像入麒麟阁，而当时的丞相与御史大夫却无缘入选。②
