张作霖又扩大奉天兵工厂，任命杨宇霆为该厂督办，定下的指标是，每年生产大炮200门，炮弹20万发，步枪6万支，机枪千挺，子弹6千万发，炸药百吨，数量不限的迫击炮。还向德国、意大利、日本等国进口军火，又从法国陆续购买了40架飞机。据外国军事家说，1922年至1923年间，奉军是中国的主要军火进口者。
经历了两年时间整军经武，奉军上下一心，训练有素，技精械新，远非昔日可比。
对于第一次直奉战争被打败， 张作霖耿耿于怀。1924年9月初，江浙战争爆发，为争夺上海地盘，直系与皖系在上海一带开战，张作霖与孙中山及段祺瑞密订三角同盟，趁机于9月15日率军入关，兵分两路进攻热河，第二次直奉战争爆发。直系由吴佩乎任讨逆军总司令，率20万大军迎战奉军。
这次交手，张作霖发狠心非要战胜直系不可，尽遣精锐，将入关部队编为6个军，自任总司令，第一军司令姜登选，第二军司令李景林，第三军司令张学良，第四军司令张作相，第五军司令吴俊升，第六军司令许兰洲。
一接仗，就显示了整军经武后奉军的战斗力，第二路军一下子打垮了直军卫戍北京的王怀庆师。双方主力决战处的山海关战场，张学良的第三军自9月28日起连日猛攻，并以飞机助战，占领了九门口、石寨门等要隘。吴佩孚为挽回颓势，亲自坐镇指挥，一下子投入了6个师加8个旅的兵力，激战近20天，在奉军顽强阻击下，终不能越雷池一步。
正当直军前方吃紧、后方空虚之际，直军第三军总司令冯玉祥、第二路军司令胡景翼、京畿警备副司令孙岳，发动倒戈反直的“首都革命”，秘密回师北京，囚禁了贿选总统曹锟，逼使其下令直军停战，免去吴佩孚本兼各职。直军大败，从此一蹶不振。
冯玉祥、张作霖联合段祺瑞，组建了临时执政府，推段祺瑞为临时执政。1925年3月，张作霖取消镇成军名号，改称东北边防军。
受张作霖、段祺瑞排挤，冯玉样改任西北边防督办，而其所部国民军，仍分驻京郊的古北口及绥远、热河、察哈尔等地。
张作霖凭借强大的兵力后盾，逼使段祺瑞委任李景林为直隶督办，姜登选为安徽督办，杨宇霆为江苏督办，张宗昌为山东督办。至1925年8月，奉军已控制了东北以外的华北直至长江下游各省区，总兵力达35万人，编为20个师、69个旅，包括8个旅的骑兵和2个旅的炮兵，还有了空军，成为北洋军阀统治后期一支最为强大的力量。
