爺爺的隊伍在上級的佈置下，和其他地方的游擊隊聯合起來，一次又一次的攻擊日軍。日軍已經開始害怕游擊隊，沒有先前那麼囂張，終日不見日本兵巡邏，這給當地軍民大好的機會，進出縣城比以前容易多了。

在1940年3月日軍撤出縣城，爺爺和三位同志，就秘密地混進縣城，開展地下工作。當時縣城還是國民黨的軍隊據守，上級考慮到爺爺比較瞭解國民黨軍隊的情況，所以就派他帶三個同志去開展工作。

在縣城開展工作，沒有在山區那麼容易。縣城裡國民黨的特務很多，爺爺根本無法展開工作，稍不注意就會暴露身份，居住的地方一個月裡連續搬了九次，工作毫無進展。正當爺爺感到工作有難度的時候，上級將爺爺調回光山，還是去開展農村工作，這對爺爺來說，是比較對口的工作，因為爺爺在山區農村工作多年，瞭解農村，和老百姓之間容易溝通，老百姓也相信他。

爺爺一直在河南商城、新蔡、光山、小界嶺、兩路口開展游擊戰，直到日軍投降。

日本投降，國共雙方又在大別山擺上了戰場，內戰的第一槍首先是在大別山區打響的。為了加強中原地區的武裝力量，黨中央命令王震率領的三五九旅南下支隊從廣東北返，又命令王樹聲率領的河南嵩嶽軍區部隊從豫西南下，在桐柏地區與新四軍五師會師，於1945年10月30日，組建以新四軍五師為主體的中原軍區，總兵力共計有6萬餘人。中原的軍事力量成了蔣介石的“眼中釘，肉中刺”，他下決定要消滅中原野戰軍，於是調動了30萬的兵力，包圍和蠶食中原解放區。

國民黨軍在1946年　6月底前，以秘密的方式完成了包圍態勢及攻擊準備，在7月1日佔領宣化店。中原軍區主力部隊經過艱苦奮戰，突出重圍，撤出大別山，國共內戰由此就全面爆發。

雖說中原軍區主力部隊已經突圍，但並沒有全部都走，在局勢極為嚴峻，在條件極為艱苦的情況下，軍區領導還是留下了一些部隊，在大別山區堅持游擊戰爭。

在這生死存亡的危急關頭，當時任中原軍區司令員的李先念，面對蔣介石三十萬大兵壓境，視死如歸。還在動員會上說了一句，讓所有指戰員都深深記得的一句話：“我們大別山人站著是一根柱子，倒下去還是一根梁。”不屈不饒的精神感動了所有參戰的軍民。

在黨中央和毛主席的親自部署下，指揮北南兩路大軍打垮了敵人的圍追堵截，共消滅敵人一萬餘人，並勝利到達陝西和鄂西北地區。

在敵強我弱的艱苦歲月裡，在生死兩忘的戰爭年代，大別山的人民沒有屈服，他們不怕犧牲，不怕流血，他們在迎接著中國革命高潮的再次到來。

1947年6月30日，劉伯承、鄧小平率領晉翼魯豫野戰軍第一、第二、第三、第六縱隊12萬多人，於8月27日千里躍進大別山，從而揭開了人民解放軍戰略大反攻的序幕。

一直堅守在鄂東各地幾十支游擊隊，聞風而動，積極配合大軍開展建立鄂豫解放區的工作。

爺爺也加入其中，帶領游擊隊依然在小界嶺一帶活動。劉鄧大軍所到之處，所向披靡，連連取勝，僅用一個多月的時間，就收復縣城22座，斃傷國民黨正規軍3000餘人，俘敵3200多人，收繳大量槍炮、彈藥及電臺等，實際控制長江北岸防線300多里。

就在劉鄧大軍實施戰略展開時，蔣介石逐漸察覺解放軍久駐大別山，是威懾南京的戰略意圖。就急令尾追劉鄧大軍，瘋狂撲進大別山區，並集中主力北上，實行“追殲圍攻”，不讓劉鄧大軍在大別山立足生根。針對這一局勢，劉伯承、鄧小平決定避實就虛，以主力部隊向敵兵力空虛的山南出擊，屢戰屢勝。共擊斃、擊傷、俘虜敵人萬人。取得粉碎敵人“追殲圍攻”的重大勝利。