“76號”為日本人可謂立下了“汗馬功勞”，但是他們的頭目李士群卻死在了日本人的手裏。而“76號”如果還是壹味胡作非為，在日本人眼裏它的利用價值正在失去。但是此時的“76號”，尤其是它的頭目李士群勢力已經強大，並非輕易可排擠掉。 1942年，李士群的親信、“76號”的警衛大隊長吳四寶先被日本憲兵毒死。壹年以後，李士群也被日本憲兵隊的特高課長岡村少佐用同樣的手段毒死。李士群死後，“76號”馬上就被改組。汪偽的特工總部被撤銷，另立政治保衛局，下設第壹局和第二局。第壹局雖仍駐“76號”原址，但權勢卻大不如前。1944年11月，赴日本治病的汪精衛死於日本，“76號”再降為第壹局下屬的上海分局，萎縮瓦解之相已經顯現。
1945年8月日本無條件投降，“76號”也隨之徹底覆滅。曾在“76號”作惡的漢奸特務頭子丁默邨，於1947年被槍決。其余中層頭目蘇成德、楊傑等人也未逃脫懲罰，均被判處死刑。