张宗昌逃走后，日军在城内外布置防御工事。第十一旅团司令竟公然张贴布告称：本军负责保护胶济路及其沿线，无论何军进入日军警戒区内，即一律解除其武装。5月1日，蒋军第一、二、三、四军团进入济南，分驻城内和辛庄。2日，蒋介石在珍珠泉原督署开会，任命方振武为济南卫戍司令，孙良诚为山东省政府主席，蔡公时为山东特派交涉员。蒋的外交部长黄郛也进城，在津浦路局设立了临时办公处。同日，日军第六师团长福田率兵一部进入济南，并在日本正金银行楼上设立了司令部。日军严密监视国民党军，居心叵测，紧接着就制造了震惊中外的“五三惨案”。

　　1928年5月3日上午，中国第四十军一名士兵因病被送往基督教医院治疗，日兵阻止通行，发生争执，日军突然开枪，当场打死中国士兵和夫役各1人，其余中国士兵则逃入医院。日兵又将医院包围，用机枪扫射，死伤无数。9时，国民党二十六军宣传员韦云彬在林祥街做街头宣传时，被日军哨兵无理阻拦，随之日军一个小队及日本浪人百余人赶到，向韦云彬及在场居民开枪，当场打死打伤数人。此后，商埠各地枪声四起，日军3000余人出动，对中国军民发起突然袭击。

　　国民党第四十军第三师第七团所部两个营、第三十七军第一团所部、第八十九师补充团第一营等部首先遭到日军攻击。当时，中国驻军并无准备，更无抵抗命令，不少官兵惨遭日军杀害。除少数部队被迫进行反击外，多数被俘缴械。据济南红十字会等团体实地调查，是日，惨遭日军杀害的中国军民达千人之多。

　　日军的野蛮行径，激起了中国军队的满腔怒火，第四十军部分士兵和第四十一军九十、九十二师官兵在忍无可忍的情况下，被迫进行了抵抗，很快压住了日军的猖狂气焰。然而蒋介石闻讯后，马上命令10名参谋组成传令班，前往各部勒令停止对日军还击，并派黄郛、熊式辉等人赶赴日军第六师团司令部交涉。

　　在交涉过程中，日军又相继占领了济南邮政局、电报局等机关，并炸毁中方电台，杀死守台的全体士兵。尤为残暴的是，日军侵害中国外交机关，凌辱和集体屠杀中国外交人员。日军冲入南京国民政府特派驻济机关山东交涉使署，先是切断电话线，拦截信使，继之强行搜查，抢掠外交文件。当特派交涉员蔡公时用日语提出抗议时，日军竟将蔡及署内职员共18人分组拽出枪杀，除一人侥幸逃出外，其余人都被残杀。

　　5月4日早晨，济南枪炮声再起，落入省长公署及总部，炸死中国军民19人。入夜，国民党军队撤离商埠。次日，又分批退出济南，仅留第一军和第四十一军所属3000人移驻城内。同日，蒋介石在党家庄召开会议，决定各军绕道济南渡河北进，由崔士杰接替蔡公时职务，到济南负责与日军交涉。

　　蒋介石的妥协退让，助长了日本侵略军的嚣张气焰。日军得悉国民党军队渡河北上后，派十余架飞机跟踪轰炸，并炮击渡河部队，造成伤亡。同时，日军在济南恣意逞凶。5月5日，日军在普利门到济南火车站各马路任意开枪，截扣车辆，并用机枪扫射，当场打死50多人。8日，日军破门入户，逮捕无辜居民。随后便用铁丝穿肉，百般折磨，直至杀害。并且惨无人道地在城郊放置有毒面包，毒死饥民数百人。