在井冈山斗争时期，陈伯钧率领所属部队，按照毛泽东制定的正确的战略战术，在战争中学习战争，打了许多恶仗、硬仗。他任连长时经常带领部队担负攻坚任务，在永新北乡指挥战斗中，身先士卒，腿部中弹，负了重伤；任红三军第七师师长时，率部打响了第一次反“围剿”的第一枪，并指挥部队攻入敌师部，活捉了敌师长张辉瓒；龙冈战斗胜利后，追击敌谭道源师，歼灭该师过半，缴获步枪2000余支，机枪46挺；反击敌公秉藩师时，巧妙运用战术，抄小路预先设伏，将公秉藩师全部缴械。每战之后，陈伯钧都要总结经验教训，指挥艺术越来越高，仗也越打越精，他在中央苏区历次反“围剿”作战中曾屡建战功、三次负重伤，荣获过中革军委颁发的二等红星奖章。
当毛泽东受到以王明为代表的“左”倾错误路线的打击，被撤销红一方面军总政委和前委书记职务时，陈伯钧也因坚定地支持毛泽东的主张被免去红十五军军长职务，调到红军学校学习。任红五军团参谋长时，陈伯钧因不满当时一些人在反“围剿”中的错误指挥，曾上书红军总部明确表达自己的观点，遭到错误批判，被降职为红十三师师长。但是不管遭到怎样不公正的对待，陈伯钧始终充满革命乐观主义精神，坚信共产主义，坚信毛泽东的正确领导。他率领的红十三师常常能在短时间内力克强敌，连打硬仗，曾被中革军委誉为“红军坚师”，毛泽东曾因看了该师连打胜仗的战报，兴奋地喊过“十三师万岁”。
1934年10月，任红十三师师长的陈伯钧率部开始长征，经过多次血战，突破敌四道封锁线后又重回红五军团参谋长岗位。遵义会议后，毛泽东重新回到红军最高指挥岗位，陈伯钧的军事才华得以更出色地展示。红五军团长期担负着中央红军的殿后任务，要掩护大军西去、北上，常常遭到敌军重兵追击，需要付出更多的艰辛劳累、流血牺牲。有的同志想不通、发牢骚，但陈伯钧顾全大局，坚决执行中央命令，做好部队官兵的思想工作，并指挥部队打了许多漂亮仗。陈伯钧也因此在红军高级将领中获得了“铁屁股”的美誉。
红一、四方面军会师后，陈伯钧调任红四方面军九军参谋长，对张国焘分裂党和红军的行径，进行了面对面的坚决斗争，因此遭到了残酷斗争和无情打击。当时，他被只身赶出红九军，坐骑被扣，望远镜被抢，警卫员也被打。但陈伯钧始终坚信毛泽东和党中央北上路线的正确，以坚韧的毅力，强忍委屈，顶住压力，当好红军学校的教员。后来在朱德、刘伯承等力荐下，张国焘不得不重新起用陈伯钧任红四军参谋长。红二、四方面军会师后，陈伯钧又被朱德、任弼时、刘伯承委以红六军团军团长重任。
1937年9月，红军主力改编为八路军时，陈伯钧被任命为一二○师三五九旅旅长，时年27岁。
解放战争中，陈伯钧率部挺进东北，重返前线指挥部队。先后任合江军区司令员、东北军区第一前方指挥所副司令员、第四野战军十二兵团第一副司令员，率部参加了辽沈、平津战役。接着，任十二兵团第一副司令员兼四十五军(后改五十四军)军长，率部参加了衡宝、广西等战役。新中国成立后，陈伯钧先是领导广西的大规模剿匪战斗，接着任十二兵团副司令员兼湖南军区第一副司令员，领导湘西、湘南的剿匪战斗。湘桂两省的剿匪战斗复杂艰巨，战果辉煌，至今留下许多脍炙人口的传奇故事。
1955年，陈伯钧被授予上将军衔，荣获一级八一勋章、一级独立自由勋章、一级解放勋章。被选为第二、三届全国人民代表大会代表，并被任命为中华人民共和国第一、二、三届国防委员会委员。
