1952年，粟裕当上了副总参谋长，1954年后，当上了总参谋长。在战争年代，坚持己见的粟裕往往能获得军事上的胜利。在政治味道浓厚的总参，不喜曲意迎合，常常坚持自己观点的粟裕，在工作中深深得罪了聂荣臻和彭德怀，为自己失意的后半生打下了伏笔。

　　性情比较暴躁的国防部长彭德怀往往对粟裕出言不逊。当粟裕在上报的文件上写了“彭副主席并转呈中央、主席”字样时，彭德怀就大发脾气，说:“我不是你的通讯员!”不这么写，彭老总会说:“你又越级!”总参和彭德怀主持的国防部关系恶劣。为了保证国防工作的顺利，贯通帝王心术的毛泽东只能选他们中的一个留下。这个时候的毛泽东在听到过众多中央领导人对粟裕的意见后，毫无疑问要舍弃粟裕。

　　后来陈赓(大将)曾对粟裕说:“古往今来，两种人最危险，一是功劳太大的人，一是不去迎合上司的人，你老兄这两样一样都不少，能不被整吗?”

　　1958年5月，开始的军委扩大会议，开始错误的批评粟裕:

　　1958年，刘伯承，叶剑英，粟裕，肖克等同志在军委扩大会议上均遭到了错误批评!

　　议强加给粟裕的罪名是“反党反领导的极端个人主义者”。主要根据:一是说粟裕“一贯反领导”,与陈毅、聂荣臻和彭德怀三位领导都搞不好;二是说粟裕“向党要权”、“向国防部要权”,“争夺军队领导权限”;三是说粟裕“告洋状”。对此,粟裕一边检讨,一边也尽可能地做了实事求是的说明。主持军委工作的彭德怀说:“要把粟裕批倒批臭!”在会议上，彭德怀，聂荣臻，黄克诚(大将)，谭政(大将)都猛烈批评粟裕，林彪，罗荣桓也没有能够主持公道。

　　当粟裕解释自己从不争权,坚持华野司令员由陈毅兼任时,彭德怀马上说:“这正说明你阴险!”聂荣臻说:“作为总参谋长来讲,有了严重的资产阶级个人主义, 这不是做小偷,而是要做大盗,大盗盗国!”林彪为了使彭德怀得罪所有遭批斗的同志，甚至说:“这次会议，我们要紧密团结在彭老总身边!”使得大会气氛完全被彭德怀的冲动情绪感染，粟裕错误被无限放大，几乎成了一无是处。在会议上，面对巨大的压力，粟裕被迫一次次的承认乌有的批评，一次次认错。

　　当然，也有的将军，尤其是一些上将，中将，很多人为粟裕辩白:“我在粟总长手下打了这么多年仗，我怎么就没看出来粟总有野心?!”也有人直接说:“军委的意见我不能理解!”甚至同遭批评的叶剑英元帅也说:“粟裕怎么会是资产阶级个人主义，我看最多是有些骄傲罢了。”毛泽东曾向被自己封为终身海军司令的萧劲光(大将)征询对粟裕的看法。萧毫不犹豫的说“粟裕为人正派，没有二心，是好人”。毛点头表示赞同。

　　此后，其实并不想完全整倒粟裕的毛主席讲了句公道话:“粟裕同志战争年代打仗打得好，是为公的。到北京以后是为公还是为私?不能说都是为私吧!”后来，在周恩来，陈毅，叶剑英等军委成员的努力下，批斗粟裕最终没有成为敌我矛盾。

　　不过，粟裕并没有因此得到解脱。军委扩大会议虽然于7月2日结束了，仍有人继续在中央领导中施加影响，把粟裕诬为“里通外国”。这就使毛泽东对粟裕产生了严重的不信任。(毛后来说过:“只要不是里通外国，错误就还可以挽救。”)不久后，毛泽东甚至在一次中央会议上把粟裕作为军内的“坏人”点了名。结果，8 月 31日，中共中央政治局通过了“解除粟裕总参谋长职务”的决定，并决定将他的“错误”口头传达到军队团一级、地方地委一级。

　　9 月，粟裕向黄克诚交接了总长。总理会后马上找到粟裕:“我不管你干什么，任何人让你粟裕离开北京都必须经过我的同意!”这样，粟裕就留在了军委，没有遭到一些同志进一步的排挤，实际上后来的文革，粟裕也是被周总理保护而没有太大冲击的。此后，粟裕被派到军事科学院给叶剑英当副手。