1938年2月5日，华北方面军下达在黄河以南、现占领线以北进行平定作战的命令。据此，华北方面军第2军2月17日命令第10师团“扫荡”汶上、济宁附近地区。同时命令在青岛登陆的第五师团，向沂水方向进攻，以配合第10师团的攻势。

在此之前，原山东省主席韩复榘，因为违抗命令，擅自撤退，导致山东失守等罪名被老蒋下令逮捕，并于1月24日被执行枪决，以此来坚定前线将士坚决抗战之决心。

为确保徐州地区的安全，1938年2月6日第五战区司令长官李宗仁将军命孙桐萱部（原韩复榘的第3集团军），向运河以东推进，袭击济宁、汶上的日军据点，以牵制敌人主力；命令邓锡侯（后由孙震代理）第22集团军主力向邹县，一部迂回曲阜、邹县间攻击日军，另一部控制在临城、韩庄之间；命令庞炳勋第三军团于临沂附近在地方部队配合下，夺取蒙阴、泗水，然后向泰安、大汶口间及南驿、曲阜间威胁日军，并对日照、莒县、沂水北方要点派一部兵力与海军陆战队共同防守。孙桐萱部第22师于1938年2月12日晚由大长沟渡运河，14日晚有一小部攀登入济宁城，双方短兵相接，血战数日，终因敌我双方力量悬殊，入城部队伤亡极大，17日晚撤至运河西岸。

与此同时，第12军81师也直取汶上，于12日晚由开河镇渡运河，一部由城西北攻入汶上城内，与日军进行激烈巷战，终因人少势弱，损失严重，13日奉李宗仁之命撤向运河西岸。1938年2月17日，日军第二军指示第10师团击退汶上、济宁附近中**队于运河以西；第五师团以一个支队向沂水方向前进，配合第十师团作战。第十师团组成长濑支队，于17日开始对济宁方面中**队反击，19日，日军攻陷安居镇，22日突破曹福林第55军阵地。25日，日军突破杏花村阵地，26日越过运河占领嘉祥。守军被迫撤至相里集、羊山集、巨野一线。但李宗仁在这一线布置大量兵力，不断侧击北段南下之敌，使敌军在这一带徘徊不能南进，暂时稳定了战局。第五师团组成片野支队，于23日占领潍县，接着该支队编入坂本支队继续南进，并于3月5日占领汤头。

于此同时，南线淮南地区之日军，也对中**队防线发动了大规模的攻势，至2月初，定远、临淮关、蚌埠等地相继失守。

2月9日，日军强渡淮河。中国守军未能阻止敌军渡河。中国第5战区急调第27集团军之第59军及第21集团军第7军增援。2月10日，中**队于学忠之第51军所属第114师在王庄阵地同日军展开激烈争夺，几经血战阵地失守，中**队伤亡2000余人。2月13日，张自忠率第59军抵达淮河流域，在瓦疃集、姚集、固镇、蒙城一线，接替第51军战斗。于此同时，廖磊率第21集团军到达合肥、舒城、八斗岭、下塘集之线。中**队以第51、59军在淮河北岸节节抵抗；以韦云淞之第48军固守炉桥、洛河一线；刘士毅之第31军和周祖晃之第7军对日军侧背进行袭击。2月11日，第31军围攻上窑，守军冲人圩内与敌肉搏，敌300余人向考城逃窜，日军被歼100余人。

1938年2月16日，周祖晃之第7军由张桥镇、老人仓一线向池河、定远日军展开侧击，并一度攻人桑家涧，日军不得不抽调淮河地区主力6000余人增援考城、上窑、他河、定远。

当日军回援淮南之时，张自忠之第59军乘机向火神庙、新桥日军反攻，敌退向曹老集。第59军分向苏集、湖口子、曹老集、王庄之线推进，将日军驱逐至淝河南岸，并朝淮河北岸推进。日军腹背受敌，无力再向北进攻，乃全部退回淮河南岸，沿邵伯、天长、盱眙、临淮关、蚌埠、怀远、三十里铺之线与淮河北岸中**队形成隔河对峙的局面。