济南位处津浦铁路与胶济铁路交会点，加上黄河、小清河水运畅通，在当时是座人口达约三十八万的商业都市。1914年日本从德军手中夺取胶澳地区（今属青岛市）后，1918年中日签署《山东问题换文》，日本取得在济南、青岛驻军的权利，胶济铁路由中日合营。1922年中日在美国的调停下签署《中日解决山东悬案条约》，中国买回胶济铁路，日本归还租借地并从青岛、济南撤军。1925年，奉系军阀张宗昌控制山东。
1928年1月，蒋介石任北伐军总司令。4月起，誓师继续北伐。北伐军分为三路，直指亲日的奉系张作霖军。北伐军一路攻占台儿庄、临城、临沂，势如破竹，直逼济南。蒋中正特别知会日本驻上海领事，北伐军将保护战地的外国侨民。
1928年4月，眼见北伐军直取济南，日本外务省发表声明，声称山东局势之巨变影响了在济南的日侨，出兵纯属自卫。4月19日，田中义一与参谋总长铃木庄六奏请天皇出兵。同一日，日本内阁召开临时会议，决定出兵，并加派第六师团长福田彦助所部5000人从门司出发前往山东。20日作出出兵声明。为了抢先控制济南，日军驻天津3个步兵中队于4月20日侵入济南，在济南城里筑起街垒。
4月25日，日军第六师团在青岛登陆，张宗昌弃城北逃德州。5月1日，陶峙岳所率的第四十军第三师和方振武所率的第四十一军先后开进济南，其余革命军部队也随后到达。这时日军已在市内各马路构筑工事，敷设电网，步步为营。经交涉后，日军于5月2日拆除街面上的工事。入城的北伐军人与日本方面多有对立。据第六十五团团长李默庵回忆，第六十四团入城时有士兵扯下日本使馆区的日本国旗，日方因而提出抗议。事件经团长洪士英调解后平息。
5月3日上午九时左右，中国军队第四十军贺耀组部的一名士兵因患病被送往基督教医院治疗，遭到日军士兵阻止通行，由于语言不通，发生争执。日军士兵突然开枪，打死中国士兵一人，余人避入医院。大约同时，日军在魏家庄向正在张贴标语的中国士兵开枪，造成数人死伤。此外，据贺耀组回忆，日军在九时左右突然向驻扎在附近的第四十军第三师第七团的两个营展开攻击。由于当时第七团的团长、营长正外出开会，两个营伤亡惨重，其中第二营全军覆没。
北伐军大部退出济南城，以避冲突，日军占领邮政局和电报局。晚上23时，蒋中正派熊式辉赴日军司令部商讨处理办法，正在协商时，日军用炮火炸毁中国军用电台，守台士兵全体阵亡。国民党战地政务委员会外交处主任兼山东交涉员蔡公时及署内全体职员被日军捆绑，并被刺刀割裂脸面耳鼻。蔡公时用日语抗议后，被割去耳鼻，继而挖去舌头和眼睛。日军将署内职员剥光衣服后鞭打，然后拖至院子里用机枪扫射。最后，蔡公时、张麟书等17人全部被杀死，署内职员仅有一人逃脱。
5月10日，双方进入僵持局面。10日夜晚，守军接到蒋介石发出的“放弃济南”命令，从东门退出。5月11日，日军进入济南城，占领济南全境。据事后济南惨案外交后援会的初步调查，中国平民于事件中死亡3945人,伤1537人，而后济南惨案被难家属联合会的调查结果为中国平民死亡6123人，伤1701人。据日本方面的调查，此事件中中国一般市民的死亡人数为三千六百人，伤者一千四百人，日军死亡二十六人，伤一百五十七人。
1928年6月8日，国民革命军绕过济南进入北京。15日，南京政府宣布“北伐告成”。
1929年3月28日，中日双方签署了《中日济案协定》，其主要内容如下：1. 自签订协定日起，两个月内，日军在山东的驻军全部撤退。2. 双方损害，共同组织调查委员会，另行调查。3. 济南之不幸事件认为“已成过去，以期两国国交益臻敦厚”。
协议签署后，日军退出济南。其后两年间，民国政府数次提请日方派定人员组织调查，然而日方没有回应。1931年9月18日，日本发起“九·一八事变”。中国外交官蔡公时和济南民众数千人（包括日本侨民数十人）的伤亡，以及双方要求的赔偿问题，实际以后也没有被提起。
