在攻打长沙的战斗中，面对实力明显更强的敌人，他和战友们浴血奋战，终于迫使敌人退出了长沙。但长沙的战略地位非同一般，敌人不可能放弃。很快，大量敌人开始反击，而红军却面对弹尽粮绝的局面，为了保存实力，组织上决定放弃长沙。他因为在战斗中受了重伤，组织上安排他去后方治病。

后来大部队被迫转移，他和少量同志留下来加入了游击队，继续和敌人作斗争。正是凭着这份勇敢和忠诚，1932年，组织决定任命他为红十六军副军长，这支队伍由游击队和其他兄弟部队的部分人员组成。

按照组织的要求，红十六军积极参与到开拓巩固革命根据地的任务中，不仅扩大了根据地，还在多次反围剿战斗中立功。经过考虑，上级又决定任命张涛为独立三师师长，老同志叶金波担任政委。

叶金波不仅有丰富的战斗经验，而且很善于组织动员，是一位优秀的政委。

两人合作后，连续打了好几次胜仗。

1932年，敌人纠集了数十个团猛攻湘鄂赣根据地。张涛和叶金波商议对策，在短短七天内打了四场胜仗，就连中央也发来了贺电。

后来红三师扩大为红十七军，张涛被任命为红十七军军长，叶金波则担任副政委。

但是第五次反围剿战斗打响后，由于一些人的错误指挥，导致红十七军陷入了危险境地。

1934年初，红十七军召开了军政干部会议，会议决定他和叶金波分别担任总指挥部的正副总指挥，积极同当地武装力量合作，在木石港与敌人斗争。