1927年2月21日，他在南昌總部第14次紀念周的演講中聲稱：“我是中國革命的領袖，並不僅是國民黨壹黨的領袖，***產黨是革命勢力之壹部分，所以***產黨員有不對的地方，有強橫的行動，我有幹涉和制裁的責任及其權力。”3月6日，蔣介石指使駐贛州新編第壹師國民黨黨代表倪弼槍殺了江西省總工會副委員長、贛州總工會委員長陳贊賢。
3月17日，蔣介石嗾使暴徒在九江搗毀並派兵強占左派領導的國民黨市黨部和市總工會。3月23日，蔣介石又指派楊虎等收買壹批地痞流氓，在安徽安慶搗毀左派領導的國民黨安徽省黨部和安慶市黨部，以及安徽省總工會和農民協會籌備處。自帝國主義在漢口、九江、南京不斷用武力幹涉中國革命的同時，越來越重視采用分化革命統壹戰線，對蔣介石的反***態度極為關註。
3月26日，蔣介石到達上海，即公開表示保證與租界當局密切合作，以建立上海的法律與秩序，進壹步投入帝國主義和買辦資產階級的懷抱。他通過報界宣布：“決不用武力改變租界的現狀，租界問題將通過外交途徑解決。”並派員到英、美、日、法、意領事館就南京事件表示“遺憾”，聲明將“火速解決南京事件”，“解除上海工人武裝”，防止出現“用武力及暴動”收回租界的事件。帝國主義者清楚地看出，蔣介石是“唯壹有武力進攻激烈分子，維持這裏（上海）局面的人物”，特許他帶著衛兵自由出入租界，並答應以駐紮在上海的侵華軍隊幫助其鎮壓革命。他們鼓動蔣介石“迅速而果斷地行動起來”，“使長江以南的區域免於淪入***產黨之手”。在日本政府的督促下，蔣介石定下“整頓國民政府內部”的決心，即首先解除上海工人的武裝，然後以在滬的國民黨中央執、監委員“取代武漢派，奪取中央黨部，排除***產黨”。同時，蔣介石向上海大資產階級的代表人物表示，在勞資問題上，“決不使上海方面有武漢態度”。大資產階級答應在財政上給他以全力支持，並立即為蔣提供300萬元資助。上海青紅幫頭目黃金榮、杜月笙、張嘯林等組織了秘密的中華***進會和公開的上海工界聯合會，充當蔣介石反***的打手。蔣介石為他們提供經費、武器，並派王柏齡、楊虎、陳群等軍官將他們編成隊伍。在帝國主義和大資產階級的支持下，蔣介石加緊準備發動反革命政變。首先將沒有完全受他控制的軍隊陸續調開或解決，而調集其嫡系部隊及新近投靠過來的軍閥部隊接防滬寧地區。
從3月底開始，蔣介石連日召集秘密會議，策劃“清黨”反***。3月28日，吳稚暉在國民黨中央監察委員會常委會上誣蔑加入國民黨的***產黨員“謀叛國民黨”，提出對***產黨“應行糾察”。隨後，吳稚暉致函國民黨中央監委，聲稱***產黨“逆謀昭著，舉凡中央執行委員會內叛逆有據之***產黨委員及附逆委員，應予查辦”。4月2日，蔣介石邀集國民黨中央監察委員李宗仁、古應芬、黃紹？、吳稚暉、李石曾、陳果夫等開會，向國民黨中央提出《檢舉***產分子文》，要求對***產黨作“非常緊急處置”。汪精衛於4月1日從國外回到上海。4月3日，蔣介石發表支持汪復職的通電，並與汪秘密會談。蔣介石主張立刻用暴力手段“清黨”，汪精衛因擔心這樣做會使權力全部由蔣獨攬，主張召開國民黨二屆四中全會來解決***產黨問題。4月5日，蔣介石發布總司令部布告，要工人武裝糾察隊與工會壹律在總司令部的管轄之下，“否則以違法叛變論，絕不容許存在”。4月8日，蔣介石指使吳稚暉、白崇禧、陳果夫等組織上海臨時政治委員會，規定該會將以會議方式決定上海市壹切軍事、政治、財政之權，以取代上海工人第三次 武裝起義後成立的上海特別市臨時政府。4月9日，蔣介石發布《戰時戒嚴條例》，嚴禁集會、罷工、遊行，並成立了淞滬戒嚴司令部，以白崇禧、周鳳岐為正、副司令。與此同時，蔣介石又利用政治欺騙手段麻痹群眾。他剛到上海，對上海總工會交際部主任趙子敬說：“糾察隊本應武裝，斷無繳械之理，如有人意欲繳械，余可擔保不繳壹槍壹械。”4月6日，他派軍樂隊將壹面寫著“***同奮鬥”4個大字的錦旗贈送給上海總工會糾察隊，以表示對上海工人的“敬意”。蔣介石在壹切部署就緒後，於4月9日離上海去南京，由白崇禧等監督執行其反革命政變的陰謀計劃。在上海工人第三次武裝起義前後，中***中央和中***上海區委對於蔣介石的某些陰謀活動是有警惕的，也采取過堅定的態度。但是，在蔣介石到上海後，***產黨的政策很快發生變化。***產黨領導人陳獨秀表現了嚴重的右傾麻痹。3月28日，中***上海區委主席團會議宣讀了陳獨秀關於“要緩和反蔣”的信。之後，上海的反蔣鬥爭開始放松。4月5日，《汪精衛、陳獨秀聯合宣言》發表後，壹部分***產黨員十分憤慨，但許多人卻誤以為局勢已經和緩下來。原來在武漢整裝待發的國民革命軍第四軍、第十壹軍不再東下，第六軍、第二軍的絕大部分服從蔣介石的命令，離開南京開往江北，使蔣介石得以控制南京。4月11日，蔣介石發出“已克復的各省壹致實行清黨”的密令，上海的形勢驟變。