北伐军逼近北京后，日本人企图取代张作霖，直接控制中国北方。日本人先后劝他“退隐”，或退回东北，都被他拒绝了。日本人最后警告说：如果不听劝告，失败后再退回东北，“日军当解除其武装”。与此同时，日本人调兵遣将，加强对东北各战略要地的控制。在双重压力之下，张作霖无奈，只好在6月2日发出“出关通电”，宣布退出北京，撤回东北。
6月3日夜晚，张作霖秘密登车起程。他乘坐的专列共有22节车厢，是慈禧曾用过的“花车”。他坐在中部的包车厢里。6月4日下午5时30分，“花车”驶入距沈阳约一公里的皇姑屯站，刚上皇姑屯铁路桥洞，忽听“轰”的一声巨响，皇姑屯桥被炸塌，张作霖的包车被炸毁，张作霖的随员死的死、伤的伤，张作霖也身负重伤。
原来，为炸死张作霖，去掉心患，日本关东军高级参谋何本大佐在皇姑屯站附近的桥洞下，埋设了大量的炸药。张作霖被救回帅府后，因伤势过重，不久就死了。皇姑屯事件的第二天，日本人又在山海关和锦州之间制造了奉军军车脱轨事件；在沈阳制造炸弹案，还阴谋杀死张学良，妄图乘机占领东北。
张作霖的部下识破了日本人的阴谋，为稳定东北局势，奉天省当局封锁了张作霖已死的消息。
