張宗昌逃走後，日軍在城內外布置防禦工事。第十一旅團司令竟公然張貼布告稱：本軍負責保護膠濟路及其沿線，無論何軍進入日軍警戒區內，即一律解除其武裝。5月1日，蔣軍第一、二、三、四軍團進入濟南，分駐城內和辛莊。2日，蔣介石在珍珠泉原督署開會，任命方振武為濟南衛戍司令，孫良誠為山東省政府主席，蔡公時為山東特派交涉員。蔣的外交部長黃郛也進城，在津浦路局設立了臨時辦公處。同日，日軍第六師團長福田率兵一部進入濟南，並在日本正金銀行樓上設立了司令部。日軍嚴密監視國民黨軍，居心叵測，緊接着就製造了震驚中外的“五三慘案”。

　　1928年5月3日上午，中國第四十軍一名士兵因病被送往基督教醫院治療，日兵阻止通行，發生爭執，日軍突然開槍，當場打死中國士兵和夫役各1人，其餘中國士兵則逃入醫院。日兵又將醫院包圍，用機槍掃射，死傷無數。9時，國民黨二十六軍宣傳員韋雲彬在林祥街做街頭宣傳時，被日軍哨兵無理阻攔，隨之日軍一個小隊及日本浪人百餘人趕到，向韋雲彬及在場居民開槍，當場打死打傷數人。此後，商埠各地槍聲四起，日軍3000餘人出動，對中國軍民發起突然襲擊。

　　國民黨第四十軍第三師第七團所部兩個營、第三十七軍第一團所部、第八十九師補充團第一營等部首先遭到日軍攻擊。當時，中國駐軍並無準備，更無抵抗命令，不少官兵慘遭日軍殺害。除少數部隊被迫進行反擊外，多數被俘繳械。據濟南紅十字會等團體實地調查，是日，慘遭日軍殺害的中國軍民達千人之多。

　　日軍的野蠻行徑，激起了中國軍隊的滿腔怒火，第四十軍部分士兵和第四十一軍九十、九十二師官兵在忍無可忍的情況下，被迫進行了抵抗，很快壓住了日軍的猖狂氣焰。然而蔣介石聞訊後，馬上命令10名參謀組成傳令班，前往各部勒令停止對日軍還擊，並派黃郛、熊式輝等人趕赴日軍第六師團司令部交涉。

　　在交涉過程中，日軍又相繼占領了濟南郵政局、電報局等機關，並炸毀中方電台，殺死守台的全體士兵。尤為殘暴的是，日軍侵害中國外交機關，凌辱和集體屠殺中國外交人員。日軍沖入南京國民政府特派駐濟機關山東交涉使署，先是切斷電話線，攔截信使，繼之強行搜查，搶掠外交文件。當特派交涉員蔡公時用日語提出抗議時，日軍竟將蔡及署內職員共18人分組拽出槍殺，除一人僥倖逃出外，其餘人都被殘殺。

　　5月4日早晨，濟南槍炮聲再起，落入省長公署及總部，炸死中國軍民19人。入夜，國民黨軍隊撤離商埠。次日，又分批退出濟南，僅留第一軍和第四十一軍所屬3000人移駐城內。同日，蔣介石在党家莊召開會議，決定各軍繞道濟南渡河北進，由崔士傑接替蔡公時職務，到濟南負責與日軍交涉。

　　蔣介石的妥協退讓，助長了日本侵略軍的囂張氣焰。日軍得悉國民黨軍隊渡河北上後，派十餘架飛機跟蹤轟炸，並炮擊渡河部隊，造成傷亡。同時，日軍在濟南恣意逞凶。5月5日，日軍在普利門到濟南火車站各馬路任意開槍，截扣車輛，並用機槍掃射，當場打死50多人。8日，日軍破門入戶，逮捕無辜居民。隨後便用鐵絲穿肉，百般折磨，直至殺害。並且慘無人道地在城郊放置有毒麵包，毒死饑民數百人。