仅过一年，罗总就大难降临。他骄狂的性格决定了他的命运，聂、叶、徐三位老帅群起攻之，说他独断专行，连他最信任的杨成武，也打出翻天印，说他是霸王。叶剑英、叶群、杨成武一起飞到杭州刘庄，向毛泽东告状，说罗与贺龙勾结。周恩来担心罗要谋反，有野心，到处部署对罗进行监控。

毛和林商量，给罗搞了一次大批判。1965年12月8日，在上海召开中央政治局扩大会，由邓小平主持，没让罗瑞卿到会场，却给罗一生算了总账，会议结束回到北京，不满背靠背批罗的聂荣臻，又搞了一个陆海空三军师以上干部的大会，继续对罗揭批，气势恢宏，我们叫三军升帐。1966年3月18日，斗得罗不想活了，从他家二楼的平台上，往下纵身一跳，两只脚掌同时着地，骨折。

贺龙嘲笑他：“你罗长子跳楼都不会，哪有脚先向下的，要头朝下跳嘛。”

邱会作说他是顺墙出溜下来的。

叶帅赋诗云：“将军一跳身名裂”。

文革开始，罗瑞卿被捆绑进了“彭（真）陆（定一）罗（瑞卿）杨（尚昆）反党集团”，给文革祭旗。