1952年，粟裕當上了副總參謀長，1954年後，當上了總參謀長。在戰爭年代，堅持己見的粟裕往往能獲得軍事上的勝利。在政治味道濃厚的總參，不喜曲意迎合，常常堅持自己觀點的粟裕，在工作中深深得罪了聶榮臻和彭德懷，為自己失意的後半生打下了伏筆。

　　性情比較暴躁的國防部長彭德懷往往對粟裕出言不遜。當粟裕在上報的文件上寫了“彭副主席並轉呈中央、主席”字樣時，彭德懷就大發脾氣，說:“我不是你的通訊員!”不這麼寫，彭老總會說:“你又越級!”總參和彭德懷主持的國防部關係惡劣。為了保證國防工作的順利，貫通帝王心術的毛澤東只能選他們中的一個留下。這個時候的毛澤東在聽到過眾多中央領導人對粟裕的意見後，毫無疑問要捨棄粟裕。

　　後來陳賡(大將)曾對粟裕說:“古往今來，兩種人最危險，一是功勞太大的人，一是不去迎合上司的人，你老兄這兩樣一樣都不少，能不被整嗎?”

　　1958年5月，開始的軍委擴大會議，開始錯誤的批評粟裕:

　　1958年，劉伯承，葉劍英，粟裕，肖克等同志在軍委擴大會議上均遭到了錯誤批評!

　　議強加給粟裕的罪名是“反黨反領導的極端個人主義者”。主要根據:一是說粟裕“一貫反領導”,與陳毅、聶榮臻和彭德懷三位領導都搞不好;二是說粟裕“向黨要權”、“向國防部要權”,“爭奪軍隊領導權限”;三是說粟裕“告洋狀”。對此,粟裕一邊檢討,一邊也儘可能地做了實事求是的說明。主持軍委工作的彭德懷說:“要把粟裕批倒批臭!”在會議上，彭德懷，聶榮臻，黃克誠(大將)，譚政(大將)都猛烈批評粟裕，林彪，羅榮桓也沒有能夠主持公道。

　　當粟裕解釋自己從不爭權,堅持華野司令員由陳毅兼任時,彭德懷馬上說:“這正說明你陰險!”聶榮臻說:“作為總參謀長來講,有了嚴重的資產階級個人主義, 這不是做小偷,而是要做大盜,大盜盜國!”林彪為了使彭德懷得罪所有遭批鬥的同志，甚至說:“這次會議，我們要緊密團結在彭老總身邊!”使得大會氣氛完全被彭德懷的衝動情緒感染，粟裕錯誤被無限放大，幾乎成了一無是處。在會議上，面對巨大的壓力，粟裕被迫一次次的承認烏有的批評，一次次認錯。

　　當然，也有的將軍，尤其是一些上將，中將，很多人為粟裕辯白:“我在粟總長手下打了這麼多年仗，我怎麼就沒看出來粟總有野心?!”也有人直接說:“軍委的意見我不能理解!”甚至同遭批評的葉劍英元帥也說:“粟裕怎麼會是資產階級個人主義，我看最多是有些驕傲罷了。”毛澤東曾向被自己封為終身海軍司令的蕭勁光(大將)徵詢對粟裕的看法。蕭毫不猶豫的說“粟裕為人正派，沒有二心，是好人”。毛點頭表示贊同。

　　此後，其實並不想完全整倒粟裕的毛主席講了句公道話:“粟裕同志戰爭年代打仗打得好，是為公的。到北京以後是為公還是為私?不能說都是為私吧!”後來，在周恩來，陳毅，葉劍英等軍委成員的努力下，批鬥粟裕最終沒有成為敵我矛盾。

　　不過，粟裕並沒有因此得到解脫。軍委擴大會議雖然於7月2日結束了，仍有人繼續在中央領導中施加影響，把粟裕誣為“裡通外國”。這就使毛澤東對粟裕產生了嚴重的不信任。(毛後來說過:“只要不是裡通外國，錯誤就還可以挽救。”)不久後，毛澤東甚至在一次中央會議上把粟裕作為軍內的“壞人”點了名。結果，8 月 31日，中共中央政治局通過了“解除粟裕總參謀長職務”的決定，並決定將他的“錯誤”口頭傳達到軍隊團一級、地方地委一級。

　　9 月，粟裕向黃克誠交接了總長。總理會後馬上找到粟裕:“我不管你幹什麼，任何人讓你粟裕離開北京都必須經過我的同意!”這樣，粟裕就留在了軍委，沒有遭到一些同志進一步的排擠，實際上後來的文革，粟裕也是被周總理保護而沒有太大衝擊的。此後，粟裕被派到軍事科學院給葉劍英當副手。