在一次战斗中，黄百韬负伤后被另一军阀张宗昌所俘。张宗昌见黄百韬喜欢读兵书，做事特别认真，便任命他为团长。蒋介石北伐时，黄百韬又投靠了蒋介石。后任旅长、师长。
１９４１年，黄百韬进入顾祝同的圈子，当了第三战区参谋长。在１９４１年的皖南事变中，黄百韬为顾祝同出谋划策，坚决反共，博得顾祝同的信任。后来，二十五军军长空缺，顾祝同就作了个顺水人情，让黄百韬出任该军军长。
这以后，每逢急战，常常以黄百韬的二十五军为先锋。抗战后整军，二十五军改为整编二十五师，黄百韬又任师长。尽管黄百韬处处小心，事事留神，但孟良崮战役后，却差一点被送上军事法庭。
孟良崮战役，张灵甫战死，黄埔系大哗，整编八十三师师长李天霞有不可推卸的责任。蒋介石下令将李天霞交军事法庭会审。李天霞见状，急忙携带一皮箱金条到处送礼游说：“整编七十四师划归我指挥不假，但不知为什么张灵甫中途归黄百韬指挥，孟良崮之战二十五师就在七十四师身边，黄百韬始终不离蒙阴道，事情就坏在他身上。”经过一番手脚，会审李天霞变成了追究黄百韬。
黄百韬听说南京方面开始整自己的材料，顿时慌了神，忙向顾祝同求救。顾祝同授黄百韬一计：“归咎死者，回护活人，表功汤司令（汤恩伯）。”
同时，顾祝同从中帮忙，与会审的几名法官打了招呼。会审那天，黄百韬依计行事，条理清晰地陈述了两个小时，给会审人员留下了这样一个印象：鲁南会战中汤恩伯第一兵团转战月余，在临蒙公路和沂蒙公路间捕捉到极好战机，作了周密部署，整编七十四师师长张灵甫主动请战，甘当钓饵，忠勇可嘉，可惜实战经验不足，又刚愎自用，不听黄百韬劝告，引兵于绝地，参战各部在黄百韬指挥下，虽奋力援救，但为地形所限，无法接近，不但整编七十四师遭劫，更连累汤司令之歼敌计划功败垂成。
汤恩伯听了黄百韬的陈述，既满意又有些内疚。鲁南败绩他是有责任的，经黄百韬这么一讲，他成了大功臣。于是，汤恩伯站出来为黄百韬说情。他对蒋介石说：“看不出来，黄百韬为人还很厚道，张灵甫不听劝阻的事，他过去一直没有讲，援救张灵甫的经过也不为人知，以致引起误会，送他上法庭倒有点冤枉了。”于是，对黄百韬的追究也就不了了之。
