是年十一月,羊祜病危,司马炎车驾亲临其家问安。炎至卧榻前,祜下泪曰:“臣万死不能报陛下也!”炎亦泣曰:“朕深恨不能用卿伐吴之策。今日谁可继卿之志?”祜含泪而言曰:“臣死矣,不敢不尽愚诚:右将军杜预可任,若伐吴,须当用之。”炎曰:“举善荐贤,乃美事也;卿何荐人于朝,即自焚奏稿,不令人知耶?”祜曰:“拜官公朝,谢恩私门,臣所不取也。”言讫而亡。炎大哭回宫,敕赠太傅、巨平侯。南州百姓闻羊祜死,罢市而哭。江南守边将士,亦皆哭泣。襄阳人思祜存日,常游于岘山,遂建庙立碑,四时祭之。往来人见其碑文者,无不流涕,故名为堕泪碑。后人有诗叹曰:
晓日登临感晋臣,古碑零落岘山春。
松间残露频频滴,疑是当年堕泪人。
晋主以羊祜之言,拜杜预为镇南大将军都督荆州事。杜预为人,老成练达,好学不倦,最喜读左丘明《春秋传》,坐卧常自携,每出入必使人持《左传》于马前,时人谓之“《左传》癖”。及奉晋主之命,在襄阳抚民养兵,准备伐吴。