1925年11月，中共廣東區(qū)委軍事部長周恩來多方努力，以鐵甲車隊(duì)為基礎(chǔ)，組建國民革命軍第四軍（軍長李濟(jì)深） 第十二師三十四團(tuán)，任命剛從蘇聯(lián)回國的共產(chǎn)黨員葉挺為團(tuán)長，周士第為參謀長。廖乾五升任第十二師政治部主任，隨第四軍討伐廣東省南路軍閥鄧本殷。對部隊(duì)進(jìn)行常識教育，把政治工作做到民眾中去，是廖乾五開展軍隊(duì)政治工作的一個(gè)顯著特色。南征戰(zhàn)斗中，由于廖乾五領(lǐng)導(dǎo)的政治工作在聯(lián)系民眾、鼓舞士氣等方面所起的重要作用，南征主力師官兵同仇敵愾，奮勇殺敵，和友軍一起，經(jīng)過短短兩個(gè)月戰(zhàn)斗，鄧本殷軍便土崩瓦解，一敗涂地，鄧乘船逃往國外。至此，廣東南部獲得解放，全省統(tǒng)一，南征取得完全勝利。
1926年7月，國共兩黨共同進(jìn)行的北伐戰(zhàn)爭在“打倒列強(qiáng)，除軍閥”的雄壯口號聲中正式開始。7月10日，獨(dú)立團(tuán)攻占湘東重鎮(zhèn)醴陵，各界群眾舉行歡迎大會，廖乾五等發(fā)表熱情洋溢的講話。會后，各界團(tuán)體推舉廖乾五任縣行政委員會委員長（即縣長）。廖乾五在師團(tuán)軍會議作戰(zhàn)前動(dòng)員時(shí)說：攻下平江，為北伐戰(zhàn)爭統(tǒng)一祖國立功，即使受傷殘廢了，犧牲了，垂光祖國，也是光榮的。簡短的幾句話，給到會軍官以極大的鼓舞。此役，不到10小時(shí)，攻占了平江城，俘敵1000余名，繳獲大炮11門，各種槍支1000余支。
在北伐戰(zhàn)爭時(shí)，軍隊(duì)的政治部主任是沒有指揮部隊(duì)作戰(zhàn)的權(quán)利的。但是，廖乾五由于過去久居楚地，熟悉當(dāng)?shù)氐乩憝h(huán)境，善于謀略。為了“以求達(dá)到農(nóng)民和工人之利益”，他主動(dòng)參與籌劃和指揮了第四軍在兩湖的重要戰(zhàn)斗。汀泗橋戰(zhàn)役和賀勝橋戰(zhàn)役的勝利為北伐軍清掃了通往武漢的道路，極大地鼓舞了全國人民的斗志，有力地推動(dòng)了兩湖工農(nóng)運(yùn)動(dòng)。
9月中旬，第四軍政治部主任由廖乾五代理。攻克武昌前夕，廖乾五以全部精力投入攻城的各項(xiàng)準(zhǔn)備工作。10月8 日夜，廖乾五派軍政治部宣傳隊(duì)員數(shù)人爬墻進(jìn)入城內(nèi)，張貼布告、標(biāo)語，散發(fā)傳單，動(dòng)員敵軍投降并宣傳安撫城內(nèi)群眾。10月10日凌晨2時(shí)許，陳可鈺、廖乾五督促第四軍，會同第八軍猛攻武昌城，激戰(zhàn)至上午8時(shí)攻克收復(fù)武昌城。
在北伐戰(zhàn)爭中，以廖乾五任政治部主任的第四軍打得最好，被譽(yù)為“鐵軍”。第四軍尤其是第十二師和葉挺獨(dú)立團(tuán)之所以在軍事上取得一系列勝利，與中國共產(chǎn)黨重視軍隊(duì)政治工作和廖乾五在四軍出色的政治工作有很大關(guān)系。廖乾五以其政治工作的卓越成績，受到中共中央軍事部長周恩來和蘇聯(lián)軍事顧問戈列夫的高度評價(jià)，“鐵軍”政治部主任廖乾五名揚(yáng)全軍。
