日軍強渡池河時，李宗仁為加強南線防守力量，急調東北軍勁旅第五十一軍南下增援。蚌埠守軍於五日退向淮河北岸時炸燬了淮河大橋，但原停泊在南岸的數百艘民船未及時撤走，給了日本人充足的渡河工具。

此後，中日兩**隊在淮河兩岸展開了一場拉鋸戰。

二月十日，日機二十餘架轟炸小蚌埠，立即以炮兵進行火力準備，將北岸防禦工事全部摧毀。

千餘日軍在炮火掩護下乘坐民船、汽艇等工具實施強渡。守軍頑強抗擊，兩次擊退渡河日軍。

當晚十一點，日軍進行夜間強渡，一度登上北岸，攻佔小蚌埠。守軍奮力反擊，於十一日凌晨一時恢復陣地。

十二日拂曉，日軍再次發動大規模強渡進攻，十時前後攻佔小蚌埠，守軍雖然全力反擊，但小蚌埠終被日軍佔領。

與侵佔蚌埠日軍發動進攻的同時，侵佔臨淮關的日軍亦發動強渡進攻。

十二日六時前後，日軍突破晏公廟沿岸陣地，不久即佔領梅園子、前坂子、新莊等地。守軍浴血拼搏一整日，好不容易奪回部分陣地。但至十三日，日軍後續部隊陸續渡過淮河，守軍傷亡慘重，終因兵力、火力不足，無力恢復及守住沿河岸的陣地，被迫撤至沫河口、年家廟之線。

由於淮河沿岸陣地多處被日軍突破，許多守軍部隊因為軍官陣亡而失去指揮，為集中力量，整頓部隊，守軍總指揮、第五十一軍軍長於學忠命令全軍向淝河附近之何集、新馬橋之線轉移。

二月十五日，李宗仁將剛剛轉隸第五戰區的張自忠第五十九軍調至固鎮附近，接替第五十一軍的防地，第五十一軍撤至西寺坡車站一帶休整。

第五十九軍積極準備，此時日軍第十三師團主力大部進至淮河以北，李宗仁命第三十一軍由淮南鐵路向上窯、鳳陽，令新隸五戰區之第七軍由合肥嚮明光、定遠實施側擊，同時要求空軍支援，轟炸蚌埠、臨淮關之敵，迫使日軍將已渡過淮河的主力撤回淮南，加強蚌埠及津浦鐵路的防守。

張自忠乘機於十八日調派一個加強團向小蚌埠之敵實施反擊，經過艱苦戰鬥，成功收復小蚌埠，淮河以北日軍全部撤回淮河以南。

二月二十日後，津浦路北段形勢趨緊，日軍開始由濟寧向運河以西發起進攻。二十二日，李宗仁按照蔣介石的指示，電令張自忠即調赴臨城待令，津浦路南段仍由於學忠的五十一軍防守，暫時與日軍隔著淮河對峙。

當南線戰場中日兩軍在蚌埠地區淮河兩岸進行激烈的渡河攻守戰鬥時，第五戰區為防止北線日軍乘機南下，遵照軍事委員會的意圖，採取以攻為守的戰術，命令第三集團軍向濟寧、第二十二集團軍向鄒縣、第三軍團向蒙陰發動攻勢。

此時濟寧日軍為第二軍第十師團第八旅團三十九聯隊主力，約一千五百餘人，大部控制於南關，城中守衛部隊約四百餘人，汶上日軍為第三十九聯隊第三大隊，約五百餘人，第八旅團主力與第十師團司令部位於兗州。

第三集團軍司令官孫銅萱於二月十日下令，命第五十五軍由金鄉向濟寧南關之敵發起進攻，命第十二軍第二十二師由定陶經鉅野、嘉祥迂迴至濟寧以北的二十里鋪附近，爾後向濟寧北門進攻，協同第五十軍軍收復濟寧城，命第八十一軍對汶上之敵進行襲擾。

曹福林的第五十五軍派出一部兵力前進至濟寧西南安居鎮附近運河西岸，進攻開始時僅以不到一個團的部隊渡河，向濟寧火車站及西關等地進行襲擾，並未以主力實施進攻，不久即為日軍擊退。

谷良民的第二十二師到達嘉祥以東的運河西岸後，部署以第六十四旅為主攻部隊，第六十旅為預備隊，隨師部控制運河西岸。第六十四旅由大長溝透過運河木橋，於十二日佛曉前到達進攻出發位置。