宗仁也为来自上海的消息所震动，便离开安徽前线来到上海与蒋会面。他到达上海的时候，正值蒋接到第一军军长何应钦要求辞职的电报。蒋说：“如果连第一军都不能稳定的话，那我就无法维持下去了。”
李回答说：“如果你也不干了，那么事情就糟了。当前的危机主要是共产党企图消灭国民党。”他建议蒋马上通电其他军界的支持者来上海“清党”，他自己的第七军可以召集到南京，授权在那里“清党”，蒋接受了他的建议。
4月6日，正是张作霖派警察搜查苏联大使馆的那一天，汪精卫到了武汉。
第二天，支持蒋介石的军官到达上海，他们立即与蒋、李和上海警备区司令白崇禧秘密商议，讨论“清党”问题。
8日，蒋建立了一个临时行政委员会，以取代共产党建立的临时市政会。
10日，蒋及其支持者（自称是清查委员会）举行正式会议，以政令形式通过了各种方案。所有的入党申请暂时停止，任何重新登记的党员必须受到三个月的调查，每个党员必须每两周向其所在支部报告自己的政治活动。会议还决定，取消武汉政府，国民党中央总部迁至南京。
随着为蒋的行为作辩护的“清查令”的施行，蒋开始准备进攻了。1927年4月11日，蒋发布了一项密令：没收2700名共产党工人纠察队员的枪。12日，蒋的支持者采取行动，在广东、广西、福建、浙江、江苏、安徽、南京和上海同时进行“清洗”。李宗仁起了很大作用，如果没有李的支持，“清洗”是不可能的。
然而，上海的详细情况是不清楚的，有关这一事情的报道比较混乱。有一种说法认为，是国民党让当地流氓穿着工人制服，根据约好的信号，这些假工人突然袭击了全市所有工人阶级的组织，并且无论他们是否抵抗，一律将他们打死。
还有一种说法是，蒋在进入上海之前，事先与上海有权势的赌场主、鸦片商、秘密社会的头目杜月笙达成了协议。
据说，青帮流氓屠杀了数千名工人领袖和富于战斗精神的工人。共产党的官方数字是，300人被打死，5000人失踪，一些很有前途的青年共产党干部在那天的战斗中和在13日的总罢工流产后被处决。
在那些被