日本人看見權力漸漸歸向南京，對蔣介石一是建議清共，而是建議劃江而治。蔣介石清共後北伐，在馮軍的大力支持下，擊敗孫傳芳和張宗昌的聯軍。攻入濟南府。日本人對國民革命軍在濟南以軍人糾紛為藉口，發動突然襲擊，殺害大批軍人。因為誤信田中義一的蔣反共即中立保證，蔣介石自己險些為日本所俘虜。退出濟南後，蔣派蔡公時去與日本辦外交，日本人將蔡挖鼻去眼殺害後送回給蔣。隨後將日軍沿隴海路一字排開，禁止國民革命軍北上。老蔣憤而下野，（也是為避日本人），將國民革命軍的軍權全數交給馮玉祥，繞過中國東部，經由馮軍和晉軍控制的地區繼續北伐，這才打敗了張作霖，進入北京。