此后,桓阶在家乡蛰伏不出,一直在寻找为旧主报仇的机会。后来,南阳人张羡做了太守,此人跟刘表有怨,桓阶见有机可乘,便鼓动张羡与刘表对抗。
曹袁官渡大战,刘表最后还是站到了袁绍一边,这就更让亲曹派桓阶不满,桓阶劝张羡起兵响应曹操,张羡本就痛恨刘表,当即同意,并联络了附近的零陵郡、桂阳郡一起起兵。
刘表一共只有七郡,一次就反了三个,自然不敢小视,立刻出兵镇压,但张羡率领的三郡兵马势力也不弱,这场战争打了一年,仍不分胜负,直到张羡病死,刘表才平定叛乱,远在北方的曹操也听说了桓阶等人的事,但此刻曹操分身乏术,相隔太远,远水救不了近火,也只能眼睁睁看着桓阶等人兵败。
事后,桓阶逃回家中闭门不出,刘表却一点责怪的意思也没有反而想拉拢桓阶,还想把自己的小姨子——蔡氏的妹妹嫁给桓阶,被桓阶坚决拒绝,刘表才罢休。