5月3日，日军还将国民党交涉署包围，强行收缴交涉署枪械。晚9时，又将战地政务委员会外交处主任兼特派山东交涉员蔡公时及署内职员共18人捆绑起来毒打。蔡公时据理向日军提出抗议，怒斥日军暴行，竟被日军残无人道地将其耳鼻割去，继又挖去舌头眼睛。然后将18人剥光衣服，鞭打后用机枪扫射，除一人侥幸逃出外，蔡公时等17人惨遭杀害。从5月3日夜开始，日军大举出动以搜索北伐军和便衣队为名，沿街洗劫，疯狂屠杀中国军民。
5月4日晨，北伐军在济南城抓获13名走私鸦片的日本毒贩，按照中国法律将他们处死。酒井隆借机再次给陆军省和参谋本部拍电报，夸大事实，宣称日本无辜侨民被杀害，并将数目扩大了20多倍。国民党军全部撤出商埠区。日军得寸进尺，继续扩大事态，不断增兵济南。5月5日，除李延年、邓殷藩两团留守济南外，其余国民党军队全部撤出济南。
5月7日，日方向蒋介石发出最后通碟：(一)惩办华方反日高级将领；(二)立即解除济南方面华军的全部武装；(三)维护中日亲善邦交，禁止华方反日、排日及有伤两国睦谊的一切宣传活动；(四)胶济铁路沿线两侧与济南城关商埠在20华里以内，不准中国军队驻扎；(五)立即将辛庄、张庄兵营全部让出，作为缓冲，便于严密监视华军行动，并观察华方有无和平诚意。
5月8日，不待国民党的正式答复，日军开始向蒋军进攻。9日，对济南城发动了总攻。日军以猛烈的炮火轰炸南圩子门、杆石桥、林祥门、普利门等各地。当夜，国民党守军不得不退入城内，日军跟踪前进，并在顺河街、西城根各街放火，特别是西城根的一条街，房屋全被焚烧。这条街上的居民被烧死、被强奸投河自杀的，无一幸存。事后，济南人民为纪念国耻，抗议帝国主义的侵略罪行，1929年5月，这条街改名为“五三街”。
在“五三惨案”中，日本侵略军丧尽天良，疯狂残杀我国军民，其罪行累累，罄竹难书。5月7日，商埠六大马路东口李子清家，有百余名难民在内避难，11时，一队日军冲进大门，用刺刀刺杀13人，将尸体运走。5月10日，角楼赵家庄，日军挨户搜查，见青年或穿草鞋者，不是刺死就是枪毙。遇难者有李明海，崔姓兄弟2人，13岁儿童王小子等，还有22人被日军活埋。5月11日，西关江家池陆军医院内收容蒋军伤员、病号约百余人，日军进入，挨屋杀人，医生、护士均被刺死，每人身上致少被刺l0刀，共杀死82人。
同日，西关东流水一家共18人藏在家中，被日军搜出，一同拉出全部刺死，血从家里雨沟流出，一直流到河里。在菜市北门里有4名中国警察，被日本人捉住，用铁丝捆住，用刺刀满身乱刺，至全身有百余刀痕。
从5月8日到10日，城里的国民党守军顽强抵抗，战斗相持三昼夜。11日，国民党守军奉命放弃济南。李延年、邓殷藩的两个团分别由老东门、新东门退出，向仲宫山地转移。日军对突围部队进行围攻袭击，李延年团排长杨冠英率全排士兵为掩护部队突围，与日军展开白刃战，重创日军，终因寡不敌众而全部壮烈殉国。日军正式占领济南。
日军占领内城后，抢劫财物，焚毁建筑，强奸妇女，枪杀战俘，屠戮百姓，罪恶令人发指。据不完全统计军民死伤总数达六千余人，财产损失不计其数。直到1929年5月，日军才在内外压力下撤离济南。这是日本帝国主义对中国人民欠下的一笔血债。
“五三惨案”的发生暴露了日本帝国主义蓄谋已久的侵华野心，它使济南人民蒙受了巨大的痛苦和灾难。今天，“五三惨案”虽已过去了86年，但是这沉重的历史印记却永远铭刻在我们心里。近年来，日本的一些右翼势力和政客在对待侵华战争历史问题上文过饰非，含糊其词，极力为日本军国主义的侵略罪行进行辩解和遮掩，他们矢口否认过去那惨绝人寰的侵略罪行，这是全世界人民所决不容忍的。日本侵略者野蛮、残暴地屠杀中国人民，其罪行累累，铁证如山。“五三惨案”就是以它血和泪的控诉，对日本侵略者的最有力的见证之一。我们决不允许否认和歪曲侵略历史，决不允许军国主义卷土重来，我们要世世代代都要牢记这段历史，牢记这悲惨的教训，决不能让历史的悲剧重演。
济南市政府自1999年起，在每年的5月3日上午10时至10时30分，都要在市区内鸣响防空警报，以寄托人们对死难同胞的哀思，警示国人勿忘国耻。
