北府兵是东晋孝武帝初年谢玄组建训练的一支精锐军队。东晋太元二年(377)，朝廷因前秦强大，诏求文武良将镇御北方。其时谢安当国，以兄子谢玄应举。朝廷拜为建武将军、兖州刺史﹑领广陵相，监江北诸军事，镇广陵。徐(治京口)、兖(治广陵)二州本是北来侨民的集中地。“人多劲悍”﹐富于战斗经验，谢玄遂召募劲勇，徐﹑兖人民纷纷应募入伍，彭城刘牢之﹑东海何谦﹑琅琊诸葛侃﹑乐安高衡﹑东平刘轨﹑西河田洛﹑晋陵孙无终等皆以骁勇应选。谢玄以刘牢之为参军，常领精锐为前锋，战无不捷，威震敌胆。太元四年，谢玄加领徐州刺史，镇京口。东晋称京口为“北府”，所以称这支军队为北府兵。

北府兵建立不久，抗御前秦就屡立战功。太元三年八月，秦将彭超进攻彭城(今江苏徐州)。次年二月，谢玄率高衡﹑何谦解彭城之围。后彭超复与俱难﹑毛当等率秦军6万南下，围晋幽州刺史田洛于三阿(今江苏高邮西)，朝廷大震。五月，谢玄复率何谦﹑刘牢之等解田洛之围。六月，又连续大败秦军。太元八年，在有名的淝水之战中，谢玄、刘牢之率领的北府兵更发挥了主力军的作用。此后，北府兵乘胜北伐，先后收复今河南﹑山东境内黄河以南大片土地。刘牢之率领的前锋，还一度打到黄河以北的邺城(见邺)。东晋政府成立北府兵，是为了拱卫首都，充实长江下游军事力量，但此后却沦为诸侯称霸的武装力量。