1952年，粟裕当上了副总参谋长，1954年后，当上了总参谋长。在战争年代，坚持己见的粟裕往往能获得军事上的胜利。在政治味道浓厚的总参，不喜曲意迎合，常常坚持自己观点的粟裕，在工作中深深得罪了聂荣臻和彭德怀，为自己失意的后半生打下了伏笔。
性情比较暴躁的国防部长彭德怀往往对粟裕出言不逊。当粟裕在上报的文件上写了“彭副主席并转呈中央、主席”字样时，彭德怀就大发脾气，说:“我不是你的通讯员！”不这么写，彭老总会说:“你又越级！”总参和彭德怀主持的国防部关系恶劣。为了保证国防工作的顺利，贯通帝王心术的..只能选他们中的一个留下。这个时候的..在听到过众多中央领导人对粟裕的意见后，毫无疑问要舍弃粟裕。
后来陈赓（大将）曾对粟裕说:“古往今来，两种人最危险，一是功劳太大的人，一是不去迎合上司的人，你老兄这两样一样都不少，能不被整吗？”
1958年5月，开始的军委扩大会议，开始错误的批评粟裕:
1958年，刘伯承，..，粟裕，肖克等同志在军委扩大会议上均遭到了错误批评！
议强加给粟裕的罪名是“反党反领导的极端个人主义者”。主要根据:一是说粟裕“一贯反领导”,与陈毅、聂荣臻和彭德怀三位领导都搞不好;二是说粟裕“向党要权”、“向国防部要权”,“争夺军队领导权限”;三是说粟裕“告洋状”。对此,粟裕一边检讨,一边也尽可能地做了实事求是的说明。主持军委工作的彭德怀说:“要把粟裕批倒批臭！”在会议上，彭德怀，聂荣臻，黄克诚（大将），谭政（大将）都猛烈批评粟裕，林彪，罗荣桓也没有能够主持公道。
当粟裕解释自己从不争权,坚持华野司令员由陈毅兼任时,彭德怀马上说:“这正说明你阴险!”聂荣臻说:“作为总参谋长来讲,有了严重的资产阶级个人主义,这不是做小偷,而是要做大盗,大盗盗国!”林彪为了使彭德怀得罪所有遭批斗的同志，甚至说:“这次会议，我们要紧密团结在彭老总身边！”使得大会气氛完全被彭德怀的冲动情绪感染，粟裕错误被无限放大，几乎成了一无是处。在会议上，面对巨大的压力，粟裕被迫一次次的承认乌有的批评，一次次认错。
当然，也有的将军，尤其是一些上将，中将，很多人为粟裕辩白:“我在粟总长手下打了这么多年仗，我怎么就没看出来粟总有野心？！”也有人直接说:“军委的意见我不能理解！”甚至同遭批评的..元帅也说:“粟裕怎么会是资产阶级个人主义，我看最多是有些骄傲罢了。”..曾向被自己封为终身海军司令的萧劲光（大将）征询对粟裕的看法。萧毫不犹豫的说“粟裕为人正派，没有二心，是好人”。毛点头表示赞同。
此后，其实并不想完全整倒粟裕的毛主席讲了句公道话:“粟裕同志战争年代打仗打得好，是为公的。到北京以后是为公还是为私？不能说都是为私吧！”后来，在周恩来，陈毅，..等军委成员的努力下，批斗粟裕最终没有成为敌我矛盾。
不过，粟裕并没有因此得到解脱。军委扩大会议虽然于7月2日结束了，仍有人继续在中央领导中施加影响，把粟裕诬为“里通外国”。这就使..对粟裕产生了严重的不信任。（毛后来说过:“只要不是里通外国，错误就还可以挽救。”）不久后，..甚至在一次中央会议上把粟裕作为军内的“坏人”点了名。结果，8月31日，中共中央政治局通过了“解除粟裕总参谋长职务”的决定，并决定将他的“错误”口头传达到军队团一级、地方地委一级。
9月，粟裕向黄克诚交接了总长。总理会后马上找到粟裕:“我不管你干什么，任何人让你粟裕离开北京都必须经过我的同意！”这样，粟裕就留在了军委，没有遭到一些同志进一步的排挤，实际上后来的文革，粟裕也是被周总理保护而没有太大冲击的。此后，粟裕被派到军事科学院给..当副手。
