3月23日，日军第10师团濑谷支队由枣庄南下，在台儿庄北侧与守军警戒部队接战。从24日起，日军开始反复向台儿庄展开进攻，守军池峰城第31师顽强抗击，攻守双方都抱定了必死之心。台儿庄一带宅室多为石头建筑，故每一房屋皆为一堡垒。面对日军的强大攻势，守军据房为垒誓死不退。
　　3月27日，台儿庄北城墙被日军炮火炸塌，小北门亦被摧毁，日军经3天3夜猛攻方冲进庄内，惨烈的巷战随后展开。双方都不断派出增援部队。28日日军攻入台儿庄西北角，占领西门，切断了第31师师部与庄内的联系。到第二天，日军已经完全占领了台儿庄东半部。
　　小小台儿庄已成为万众瞩目的焦点。29日，林蔚转述蒋介石紧急电令：台儿庄屏障徐海，关系第二期作战至巨，故以第二集团军全力保守，即存一兵一卒，亦须本牺牲精神努力死拼。如果失守，不特该军官兵死罪，即李长官、白副总长、林次长亦当严办。
　　台儿庄内的战斗还在持续。到4月2日，守城将士伤亡已逾十分之七，三分之二的阵地已为日军占领，守军仍据守南关一隅拼死不退，战局胶着。
　　第五战区下令以第20军团汤恩伯主力向台儿庄机动，击敌侧背，与第2集团军形成内外夹击之势，并以第3集团军进至临城、枣庄以北断敌后路。攻击台儿庄的濑谷支队顿时陷入国军四面包围之中。为解濑谷支队之危，日军速以第5师团坂本支队从临沂驰援，随即遭到国军第52军和第75军的阻击和围攻。激战数日，伤亡惨重的坂本支队被迫撤退，日军救援濑谷支队的计划落空。
　　4月3日，李宗仁下达了第五战区全面反攻的命令。国军的内外夹攻使得濑谷支队渐渐不支。经过四天激战，日军濑谷支队大部被歼。其残部于7日向峄城、枣庄“转进”。
　　蒋介石要求李宗仁迅速出击追击残敌，但李宗仁能指挥动的孙连仲等杂牌军损失太大，几乎失去了继续作战的能力。有能力作战的汤恩伯部队又指挥不动，汤恩伯一向的作战原则也是避免攻坚。因为中国军队追击过于缓慢，败退的日军很快就形成新的防御与国军形成对峙。据说蒋介石的军事顾问法肯豪森为痛失追击良机气得“狠命揪自己的头发”。
　　此即为举世闻名的“台儿庄大捷”。日军两个精锐师团的伤亡数字是：第5师团亡1281人，伤5487；第10师团亡1088人，伤4237人。合计伤亡超过万人。国军伤亡超过两万人。
　　就战役性质而言，台儿庄战役只是徐州会战中一次比较成功的阻击战而已，并不能从根本上改变最后徐州沦陷的结局。但在此之前，国民政府几乎动用全部军事力量先后进行了多次重大战役，基本上都以付出惨重代价和失败而告终，可谓“屡战屡败、屡败屡战”。徐州战役之时，举国上下弥漫着一种失败的悲观情绪。小小台儿庄一战就让日军付出了万余人的伤亡代价，极大地振奋了中国人民的民族精神,并从中看到了抗战的光明前途。战役的胜利也扩大了中国抗战的国际影响。苏、美、英、法等欧美主要国家都给予了充分报道和评论。1938年4月9日伦敦路透社电讯说：“英国军事当局对于中国津浦线之战局极为关注。最初中国军获胜之消息传来，各方面尚不十分相信，但现已证明日军溃败之讯确为事实。英人心理渐渐转变，都认为最后胜利当属于中国。”德国也报道说：“徐州方面中国抵抗力之强殊出人意外”，“最慎重之观察者亦不能不承认日本必遭失败”。各国新闻媒介对台儿庄大捷的报道，不仅让世界增加了对中国抗战的了解和认识，也为后来中国赢得更多外援创造了条件。
　　一次大捷打出了中国军队的威风，也打热了蒋介石的头脑。蒋介石认为，宜将剩勇追穷寇，趁势在徐州地区再打出几个“台儿庄战役”、与日军实施战略决战的时机已经成熟。于是乎，全国各路人马纷纷接到命令奔赴徐州战场，使得徐州附近的国军兵力迅速超过了60万人。
　　国军此举可谓正中日军下怀，——这正是一举聚歼国军主力部队的天赐良机。台儿庄战役也使得侵华日军的头脑一下子变得清醒起来。4月3日，大本营和陆军参谋本部联合下达“大陆指之106号”，要求华北方面军和华中派遣军迅速调集兵力，围歼徐州一带的国军重兵集团。在华日军也迅速调整战略部署，以战场现有兵力在正面牵制国军主力，而日军主力则向西迂回从侧后包围徐州，试图一举歼灭第五战区国军主力。
　　随之而来的就是一系列的调兵遣将。日华北方面军第114师团以及淞沪地区的第16师团等部队奉命奔赴徐州参加会战，连远在满洲的关东军都调来了两个独立混成旅团。当时侵华日军总兵力共计为18个师团约40多万人，而被投入徐州战场的就有8个师团。——其中华北方面军五个半师团，华中派遣军两个半师团，总兵力超过了20万人，达到了侵华日军的半数以上。
　　担任在北面吸引国军主力任务的就是刚刚打了败仗的日军第10、5两个师团。4月16日，板垣征四郎第5师团率先对临沂发起第二次攻击。负责增援的张自忠部被敌军阻击救援未果。19日中午，日军突入临沂城，庞炳勋率残部突围而出，临沂失陷。国军鲁南的战略支撑点丢失。
　　4月10日，第10师团自兖州推进到枣庄。18日，日军分三路开始进攻。国军汤恩伯部、滇军第60军逐次抵抗。26日，国军在台儿庄发动全线反击，在日军的顽强阻击下伤亡惨重。第5师团一部也很快加入战场。为了抵挡日军的攻势，国军主力开始逐渐向北线集中，日军将国军主力滞留在台儿庄周围的战略目标初步实现。
　　前线激战正酣。但日军的真实意图是从南北两个方面向徐州西侧迂回包围，用20万人包围歼灭这一带的国军主力60万。南面，日第6师团板井支队4月23日从芜湖出发，连陷巢县、庐州。第101师团佐藤支队4月24日从东台出发，先后占领盐城、阜宁。由于国军的主力大部分集中在北部，这两路日军并未遭到顽强阻击而得以长驱直入。
　　时值淮北大旱，河水干涸，日军的机械化优势得以充分发挥。5月4日，集结在凤阳、蚌埠、怀远一带的日军第3、9、13师团分别沿北淝河、涡河西岸北进，13日攻陷蒙城、永城后向江苏萧县、砀山进攻。在徐州主战场的西南方，日军已经出现在中国主力的侧后。
　　5月9日，日军第16师团从济宁出发强渡运河占领郓城。同时，第14师团从河南濮阳南渡黄河，陷山东菏泽、曹县后，直插河南兰封，一举切断了陇海铁路。15日，南路日军第16师团快速挺进队与北路日军在陇海路上会师。在阻断郑州方面国军增援的同时也堵住了徐州国军主力向西的退路。16日，日军第10师团已经距离徐州只有6公里。至此，日军对徐州的战略包围初步形成。
　　到5月中旬，日军在徐州西侧布下的一张大网在慢慢张开并逐渐收紧。徐州国军突然出现的严重危机，使蒋介石那因台儿庄胜利有点发热的大脑刹那间又冷静下来。他突然意识到日军的目的就是要围歼徐州国军主力50个精锐师。日军的战略企图既然已经暴露，再死守徐州不但不现实而且也失去了意义。何应钦、白崇禧、陈诚等人亦主张趁日军包围圈还没收紧的时候尽快突围。这次蒋介石没有犹豫，迅疾向第五战区下达了放弃徐州的撤退命令。
　　尽管南北两路来势凶猛，但日军毕竟兵力有限，在徐州附近形成的包围圈四处都是缝隙和漏洞。徐州战场的撤退与淞沪和南京的撤退形成了鲜明的对比。在第五战区得力有效的组织下，从5月16日开始，中国军队且战且退，阵形不乱，按部就班地向西、向南撤退。日军阻一处中国军队冲一处，各路人马相继冲出重围，陆续向河南南部及湖北北部集结。
　　李宗仁与长官部官兵700余人越过敌之包围圈移驻潢川。留守徐州城的刘汝明部佯作死守之状，见各路大军撤尽即立即放弃徐州，巧妙地跳出日军的包围圈安全转移，上演了一出现代版的空城计。

　　5月19日，日军占领空城徐州。

第五战区国军主力撤走之后，徐州以东的豫东地区还有国军20万大军，而孤军深入此地的土肥原贤二第14师团只有两万多人。国军的20万大军基本上都是战斗力很强的中央军部队。蒋介石试图在豫东地区再打出一个台儿庄大捷，下令薛岳带领孙桐萱、黄杰、李汉魂、桂永清、俞济时、宋希濂等部12个师围攻日第14师团。一场围绕兰封展开的小范围围歼战随后打响。战斗最危急的时候日军被迫龟缩在一个小寨子——三义寨里负隅顽抗，连土肥原贤二的军刀都被国军缴获。但由于组织协调不力，加上几路日军援军很快逼近，这一战役最终仍以国军败退收场。规模并不大的“兰封会战”被蒋介石自称为“战史上之千古笑柄”。恼羞成怒的蒋介石甚至为此枪毙了作战不力的中央军88师师长龙慕韩。