“如果东北军不愿意被解除武装，就应该毫不犹豫地立即撤退。”芳泽继续威胁张作霖。
“要我撤出北京……我多年来不是白干了吗？我绝对不干。”张作霖不服气地说:“我还统帅着60万大军，至少还能跟南军干一仗。”
张作霖认为日本人迫他签合同，这分明是落井下石，便破口大骂道:“日本人不够朋友，竟在人家危急的时候，掐脖子要好处。老子不能出卖东北，以免后代骂我卖国贼。老子什么也不怕，我这个臭皮囊早就不打算要了！”
张作霖越说越生气，竟把旱烟袋猛地往地上一扔，那宝贵的翡翠烟嘴即刻便被摔成了两半。
此时，日本华北驻屯军参谋浦登江也在劝张学良、杨宇霆等奉军“新派”退回关东。在此情况下，张作霖见大势已去，也就只好忍痛答应先退守关外，再从长计议。
5月30日，蒋介石的北伐军攻占了河北重镇保定，前锋直指北京。张作霖顿时慌了手脚，连忙召集张学良、杨宇霆等紧急磋商，决定退却。
正当张作霖打算退回东北老家时，森恪在东京主持召开由外务、陆军、海军、大藏各省主要官员参加的会议，讨论对东北问题的处置方案。经过6天的争论，仍然各执己见。最后，森恪决定:“按既定方针进行”。看来，日本要明目张胆地将“满蒙”从中国版图分离出去了，由日本负责东北三省的“治安”。
6月1日，北京居仁堂。张作霖在这里举行招待会，同各国外交使节告别。次日，张作霖发表“出关通电”，说了一通冠冕堂皇的话:“本为救国而来，今救国志愿未偿，绝不忍穷兵黩武，整饬所部退出京师（北京）。”通电发出后，张作霖想想自己辛辛苦苦地从关外来到关内，只当了一年的“大元帅”，现在又要打道回府，不禁潸然泪下。
2日晚8时许，张作霖在文武官员前呼后拥下走进火车站。这里竟然有仪仗队，还有乐队，就连撤退，这位“大元帅”也忘不了还要摆摆威风。
与张作霖同行的有大元帅府的人员、卫队和他的六夫人，还有靳云鹏、潘复等。专列共有22节，张作霖的豪华包厢位于中间，以前是慈禧太后的专用车厢。
就在张作霖准备离开北京的时候，他接到了芳泽打来的电话，芳泽在电话里问他“合约”签好没有。张作霖回话，让他第二天下午来取。
芳泽准时来见张作霖，他惴惴不安地坐在会客厅里等待着。想不到张作霖竟在隔壁的屋子里对他大骂了一通。过了一会儿，骂声停止了，张作霖让人把文件递给了芳泽:“张大帅今天实在太忙，不能会见了，请你原谅。”芳泽接过文件，匆匆忙忙地离开了张府。
日本关东军觉得从张作霖那里已经得不到什么好处了，便策划了一场刺杀张作霖的阴谋。关东军司令村冈长太郎秘密指派竹下义晴少佐去北京策动日本华北驻屯军，在张作霖向关外撤退时相机行刺。
竹下把这个消息透露给了关东军高级参谋河本大作大佐，河本听了后担心地问道:“万一失败了怎么办？华北方面有没有敢干这种事的人，实在不无疑问。……不要给军方或国家负任何责任……虎视眈眈的列国一定会乘这个求之不得的机会来大做文章。”说到这儿，河本自告奋勇地向竹下表示:“我来干好了。”
河本为什么积极赞同炸死张作霖呢？他想借机制造“满洲”动乱，再以“维持满洲的治安”为名，占领“满洲”各地，建立一个所谓“独立”的“自治”政权。他认为，除了杀死张作霖，再也没有“解决满洲问题的办法”了，所以，河本公然扬言:“只要干掉张作霖就行。”
于是，刺杀张作霖的计划便由河本大作执行了。河本让竹下到北京详细侦察张作霖的行踪，什么时间乘火车回关外，把这些情况弄清楚后告诉他。
说干就干，河本指派关东军军官分赴山海关、锦州和新民屯等京奉铁路各大站进行监视，密切注意张作霖专列回关东的时间。
河本出身日本一个富有的家庭，在陆军大学读过书，长得一表人才，乍眼一看，不像个职业军人。他常常孤芳自赏，目中无人，就连日本陆军部的人也让他三分。
在哪个地方下手呢？一开始，河本选择了新民屯以东的巨流河铁桥。但这个地方，奉军戒备森严，不容易下手，只好作罢。随后，河本又选中了皇姑屯，打算在那里下手。6月1日晚，河本只身一人悄悄地窜到皇姑屯察看地形。他发现，在皇姑屯以东1000米处，南满（长春至大连）、京奉（北京至沈阳）两条铁路在此交会，南满铁路在桥上，京奉铁路位于桥下，此处又是关东军守备队的警备地段，行动很方便。如果爆炸失败，还可以想方设法让火车脱轨，然后趁混乱之际，由“冲锋队”杀掉张作霖。经过一番考虑，河本最终将谋杀张作霖的地点确定在皇姑屯附近。
河本指派独立守备队第2大队第4中队长东宫铁男大尉负责指挥现场。一天夜里，几个黑影从奉天日军独立守备队的营房里溜出来，他们是东宫和主管工兵事务的神田大尉、桐野中尉。此时，他们三人鬼鬼祟祟地将炸药和电线装上了一辆小货车，然后推到爆炸地点。
6月2日，竹下从北京发来密电:“3日凌晨15分，特别列车由北京出发。列车由20节车厢组成。他（张作霖）乘第八节车。”
河本得知这一消息后，欣喜若狂，指派石野芳男大尉立即前往山海关、武田中尉火速赶到新民屯监视。随后，他又命令东宫、川越驱车赶往皇姑屯。“冲锋队”也悄悄地进入阵地，埋伏在铁桥附近。
河本亲自带着藤井贞寿工兵中尉到桥上安放炸药。共放置了200公斤烈性炸药，装在30个麻袋里，然后将导火索拉到距桥南约200米远的瞭望棚里，并安装好电流引爆装置。接着，他们又在京奉铁路上安放了两个脱轨器。
