由於張作霖不肯滿足日本帝國主義的各種無理要求，1928年6月4日清晨5時許，當時張作霖正乘坐專列從北京返回奉天，誰知道正行駛到皇姑屯附近的京奉、南滿兩鐵路交匯的橋洞時，被日本人預先埋好的炸彈炸毀，張作霖身受重傷。
在被炸傷後，處於彌留之際的張作霖曾對守護在身邊的盧夫人說：“我受傷太重，恐怕不行了，告訴小六子，讓他趕快回奉天。”
上午9點30分，張作霖最終因搶救無效去世，時年54歲。
張作霖——劇照
張作霖身為東北地區的實際領導者，如果他的死訊現在壹旦傳出去的話，那麽勢必會造成東北地區的混亂，從而使日本人有渾水摸魚的機會。
所以在張作霖去世後，大帥府的人員壹面處理善後，壹面則急電張學良和張學銘火速返回奉天主持大局。但張學良因軍務纏身，所以壹時間不能及時反奉，留學日本的二子張學銘在得知其父被炸之後，便立即於本月6日離日返奉。
此時讓大家最為焦慮的是，張作霖死後，奉天壹時間群龍無首，東北政局難以掌控。鑒於此，臧式毅、劉尚清等人開始出面主持在奉重要官員，連開緊急會議，商討應急方案。
皇姑屯事變
在眾人商討之後，決定推帥府秘書長談國桓執筆，遵張作霖旨意，起草遺囑壹份，其遺囑全文如下：
余不幸歸途遇險，今病勢已篤，殆朝暮間人矣。余自束發從軍，早自誓，以身報國，死生置之度外，現年已五十有四，死亦非夭。惟是救國之誌未遂，不免耿耿耳。今以奉天重任付之學良，望汝善為料理，延聘賢能，修明內政，使人民安居樂業，以慰父老懸懸之望。壹面努力和平，以彌戰禍，促成統壹，勿背余佳日息爭通電之旨，並盼我胞澤同人，***體此意。但能遵余之遺囑，事事以國家民族為重，協力進行，即是征諸同人相愛之誠，余雖身死，亦瞑目矣！
制造皇姑屯事件的罪魁禍首大家已經是心知肚明，根本不用開展任何調查就知道這是日本關東軍所為。然而，日本人非但拒不承認此事是他們所為，甚至還要求中國方面派人去調查。而就在現場調查的第二天，日本人又拿出壹張用事先打印好的日本報告，稱：“經過中日雙方調查，證明炸車事件系南方派來的便衣隊所為”，並要求中國方面簽字蓋章。
面對日本人這樣無恥的要求，中國代表當即拒絕。最後在壹番調查之後，發現了諸多疑點，且這些疑點都表明，這就是日本人所為。
如果說這些疑點尚不能說明此事就是日本人所為的話，那麽在二十年後，刺殺張作霖的主犯，前關東軍高級參謀河本大作大佐，作為戰犯被逮捕後所公認刺殺張作霖的經過便是鐵打的事實了！
張作霖
張作霖死後，為了避免日本人渾水摸魚，以及為張學良反奉主持大局贏得時間，因為帥府決定秘不發喪。為了保險起見，對外由奉天省發表通電偽稱：
“主座由京回奉，路經皇姑屯東南滿鐵道，橋梁發生爆炸，傷數人，主座亦身受微傷，精神尚好，省城壹切如常。”
此外，帥府裏還假戲真做，夫人們將張作霖的頭部用繃帶給包紮起來，僅露出眼、鼻、口，躺在床上，每日讓廚房照常給張作霖做飯，醫生則天天來帥府假裝換藥和填寫醫療經過及處方，似乎張作霖就真的只是單純的受傷而已。
不過日本人也不是吃素的，雖然大帥府每日都很正常，但卻也派人來訪，窺探虛實。其奉天總領事館還曾要求派日本醫師前去大帥府探問，但是都被委婉的拒絕了。
張作霖的太太們——劇照
其中帥府中的壽夫人，臨危不懼，鎮定自若，每日總是濃妝艷抹，高高興興地接待前來表示慰問而別有用心的日本太太們。當這些日本太太們看著張作霖臥室裏燈火通明，壽夫人面無戚容，從容不迫的時候，都相信張作霖就真的只是受傷而已。
但終究紙包不住火，在持續了幾天之後，終於在同月8日壹天，親日派陶尚銘在大帥府門前聞到了燒香的味道，且看見女人們穿著孝服，才知道張作霖已經去世。
自此以後，張作霖去世的消息，逐漸在奉天散開！不過在此後不久，張學良也趕到了奉天。隨後張學良子承父業，成為了東三省的最高統治者。
張作霖被炸後——劇照
在張學良回來之後，便開始給父親張作霖找尋墓地。為此，張學良還派人四處勘察，終於在撫順市東60華裏的薩爾滸附近選定了壹處前有渾河環繞，碧波蕩漾，遙與鐵臂山隔水相望；背有山巒起伏，林木蒼翠，依山臨水的地勢，作為“元帥陵園”。
張作霖的陵園從1929年5月開始動工修建，計劃在兩年內完工，在這之前，張作霖的靈柩被暫停在帥府花園的東廂房裏面。但事不遂人願，在陵園尚未完工之時，便爆發了九壹八事變。
日本人占領東北之後，便將張作霖的靈柩從帥府遷移到了小東邊門外的珠林寺。直到1937年6月，由偽滿洲國總理張景惠提議，才將張作霖的靈柩由沈陽遷至遼西錦縣東北驛馬坊張氏家族墳地，與原配夫人趙氏合葬。