同治九年七月二十六日上午，馬新貽校場閱兵完畢，返回督署的路上，刺客張汶祥佯裝告狀，在馬新貽盤問大意之時將其刺殺。而刺客並不逃走，同時高喊：“刺客是我張汶祥！”“養兵千日用兵壹朝。”“有來有去。”“大丈夫壹人做事壹人當。”“二十年後又是壹條好漢。”等語，隨後被馬新貽身邊衛士捉拿。
兩江總督光天化日之下被人刺殺，清廷壹時震動，命漕運總督張之萬為欽差大臣會同江寧將軍魁玉、藩臺梅啟照、同時直隸總督曾國藩回任兩江總督，盡法嚴辦。但張之萬等人辦事拖沓，竟數月不能查無結果，慈禧連下三道諭旨申飭，張之萬才上書詳細說明馬新貽行兇動機：
壹、張汶祥回到家鄉寧波發現妻子田宅被人霸占，張汶祥隨向時任浙江巡撫的馬新貽報案，但馬新貽拒不受理。
二、張汶祥與海盜私交深厚，但這些海盜後來都被馬新貽捕殺。
三、馬新貽明令禁止張汶祥私自經營典當行。
但這些作案動機前後矛盾疑點重重，首先張汶祥和馬新貽頗有交際，同時他私通海盜有違法行為如何敢找馬新貽告狀，馬新貽如何沒有將他認出。而張汶祥反復強調刺馬屬私人恩怨，並無他人指使，但為何被捕時大喊：養兵千日用兵壹朝。
清廷於是命刑部尚書鄭敦謹、滿郎中伊勒通阿、漢郎中顏士璋赴江寧追查此案。
坊間傳聞鹹豐年間張汶祥與好友曹二虎參加撚軍，曾俘虜馬新貽，張、曹不甘為匪於是與馬新貽結為兄弟，投降清軍反正。兄弟三人四處征戰屢立大功，但馬新貽垂涎曹二虎妻子曹氏美色，害死曹二虎，霸占其妻。張汶祥氣憤不過隱姓埋名伺機報復，最後終於在同治九年終報大仇。
（此為投名狀劇情）
但鄭敦謹在查訪馬新貽之子馬毓幀了解到，馬新貽在同治四年以任浙江巡撫，根本沒有參加過撚軍征剿。而馬新貽僅有兩房妻妾都年過四尋，跟隨馬新貽二十余年，從未有過曹姓妻妾，傳言根本子虛烏有。馬毓幀同時透露馬新貽其實身負慈禧密令節制湘軍、穩定東南除此之外還有追查足以動搖清朝根基的天朝聖庫。
天朝聖庫是太平天國時期政治制度，及把所有太平軍參與的私有財產全部集中起來。據說有1千8百萬兩白銀。而清朝國庫僅有20萬白銀。對洋務運動、江南恢復，國庫存銀顯然是杯水車薪。但曾國藩攻入南京天朝聖庫居然不翼而飛，上書戰報前後矛盾，戰報上說天國幼天王洪天貴福以自焚，但後來竟被清兵生擒，如此不由不讓人覺得坊間傳言以曾國藩之弟曾國荃為首的湘軍將領貪墨贓款並非空穴來風。
同時長江南北帶甲30萬，已成尾大不掉之勢，清皇室已對此頗為忌憚。慈禧欽點的兩江總督馬新貽身負重任，馬新貽上任時，並無喜色且以留下遺囑，其中反復提到如有不測萬勿聲張，並早有遺囑重復要求家人不要追查，不要聲張，如此才能保全性命。
曾國藩在案發時，早已老病纏身，右目昏沈已近失明，以開始打造棺木料理後事，且遠在天津困於中法教案。不太可能遙控千裏之外的壹起大案。教案剛剛緩解，馬上回任兩江總督，其中也隱隱然然暗示朝廷也察覺到此案與湘軍有千絲萬縷的關系，如果激起事端，無疑只有曾國藩才能安撫眾人。鄭敦謹等人深諳官場規則，雖然清廷高度重視，但因案件牽扯極廣，如果深究可能撥亂東南，最後僅以”聽受海盜指使並挾私怨行刺”，“實無另有主使及知情同謀之人。”上報朝廷權衡利弊慈禧太後默許了這壹結果，不了了之。此後兩江總督壹職壹直掌握在湘軍系官員手中。
案件結束後鄭敦謹辭官，漢郎中顏士璋顏士璋後來寫了壹本《南行日記》，記述了赴寧的全部過程。據他的曾孫顏牧臯日記中寫道：“刺馬案與湘軍有關。”“刺馬案背後有大人物主使。”
後人猜測嫌疑最大者：
第壹、長江水師提督黃翼升。因中法教案，列強軍艦陳兵海上。清廷想趁此機會以整頓水師為名，從湘軍手中削奪長江水師，而相關工作必是由兩江總督負責，這無疑觸及了黃翼升的利益。
第二、曾國荃，因為天朝聖庫存銀不翼而飛，在清廷準備追查時，南京遭大火焚城，湘軍戰報前後矛盾，坊間傳言曾國荃早以密遣人將太平天國所有贓款分船運回湖南老家，甚至連天王府的楠木柱子都沒落下。