尽管在思想和做法上有诸多的不同意见，但在大局上，特别是在蒋介石为首的南京国民政府成立后的最初两年里，蔡元培在总体上，对内而言，在国民党内部争斗中是站在蒋介石集团一边的，对外则是的全力支持“清党”的。
1927年4月18日，蒋介石操纵下的南京国民政府成立。蔡元培作为国民党中央监察委员会代表，发表了演说，明确提出当时的武汉国民政府，“受.共.产.党妨害”和俄国人操纵，应予取消。
6月19日至21日，他又与胡汉民、吴稚晖、张静江等，追随蒋介石参加与西北军阀冯玉祥商讨联合清共的徐州会议，并在这年9月，促成了南京国民政府同武汉国民政府合并的“宁汉合流”。蔡元培与汪精卫、胡汉民、李烈钧、谭延闿五人，在合并后的国民政府委员会中被列为常务委员。
当时在南京，有蒋介石控制的“国民政府”和“中央党部”；在武汉，有汪精卫控制的“国民政府”和“中央党部”。另外上海和各地都有一些军阀把持的地方政权，但是主要以南京和武汉，蒋介石和汪精卫为主。由于南京国民政府和武汉国民政府在反.共问题上已没有分歧，武汉方面渐有妥协趋势。
为了实现“合作清党”、“统一党务”，通过一系列酝酿和接触，冯玉祥从中牵线，与各方反复电商，于7月20日提出解决宁、汉合作的具体办法。汪精卫等表示愿意“和平统一”，同意“迁都南京”。
蒋介石、李宗仁、胡汉民等欢迎武汉重要分子到南京“柄政”，赞成各方“共同北伐”。8月上旬，宁、汉双方基本上达成了妥协。
由于南京的蒋介石在争权夺利的斗争中处境渐显不利，加之蒋的国民革命军在徐州战场被孙传芳打的一败涂地，蒋介石不得不宣布下野。
蒋介石的政治生涯中曾有三次下野，这是他的第一次下野。
蒋介石的下台促使南京和武汉方面迅速靠拢，8月25日武汉国民政府迁往南京，南京国民政府同武汉国民政府合并，因南京简称“宁”，武汉简称“汉”，史称“宁汉合流”。
这一期间，蔡元培继续积极地支持蒋介石。蒋介石宣布下野后，蔡元培与胡汉民、吴稚晖等人即联合通电，声明与蒋介石同进退，同时辞职。