在这里，他接受了经年累月的战斗磨练，一路升任连长，并在北伐战争中立下战功。在这里，他看到了旧军队的腐朽，与他希冀的“强军救国”相差甚远。随着反革命的“四一二政变”“马日事变”“七一五政变”先后发生，黄公略进一步认清了蒋介石、汪精卫之流的反革命本质。

也是在湘军，他结识了一生的挚友彭德怀。从湘军到红5军，他们的命运交织在一起，在战乱的社会环境下，他们一路经历艰辛曲折但没有沉沦，坚持不懈地探索救国救民的出路。

进入黄埔军校后，黄公略接触到很多共产党员，思想受到很大影响。1927年12月，广州起义爆发，黄公略和同学贺国中翻越栏杆跳出校园参加起义。起义虽然失败了，黄公略却看清了革命的方向，坚定了对中国革命的信念。不久后，黄公略加入中国共产党。

1928年3月，黄公略从黄埔军校毕业，应国民革命军独立第5师1团团长彭德怀之邀回到湘军，组建随营学校，并担任副校长。这时候，他已经有了一个“反正”的打算，他要将这支国民革命军“反正”为工农红军，“反正”为在中国共产党领导下为穷人打天下的队伍。

3个月后，黄公略调任国民革命军独立第5师3团3营营长，驻平江县嘉义镇，彭德怀率1团驻平江县城及城南。不久后，黄公略、贺国中等人的中共党员身份暴露。正是这紧急的情况，促成了“反正”的契机。7月，黄公略同彭德怀等一起领导了平江起义，成立中国工农红军第5军。

黄公略和彭德怀等挚友，从相识到相知，最后在平江共举义旗，为中国革命烈火熊熊燃烧贡献了自己的力量。

平江起义声震全国，也震怒了国民党高层。红5军随即遭到围攻，接连受到挫折和损失。同年秋，红5军与工农游击队合编为3个纵队。彭德怀、滕代远率主力开赴井冈山，第2纵队纵队长黄公略率部留在平江、浏阳一带坚持游击战争，保卫和发展了湘鄂赣边区。与此同时，黄公略还执笔编写了《游击战术》的小册子，作为部队的军事训练教材广为印发，为根据地开展游击战提供了十分宝贵的经验。

1929年8月，彭德怀、滕代远率部回到湘鄂赣边区，与黄公略率领的第2纵队会合，重建红5军，彭德怀任军长，黄公略为副军长，全军共3000余人。此后，彭德怀、黄公略率领红5军向北开辟鄂东南地区，向南打通与湘赣苏区联系，扩大了湘鄂赣苏区。至年底，湘鄂赣革命根据地已经形成。