东晋孝武帝太元二年(377年)十月,东晋朝廷担心前秦强盛,遂命谢玄负责筹组新军。此支新军在历史上号称“北府兵”。
东晋大司马桓温认为集中在南徐州、南兖州一带的北来侨民不仅人多而且勇武,在“土断”之后,就想把他们编组成一新军,但计划尚未实施,桓温便病故。
桓温死后,谢安掌握大权,为充实长江下游的军事力量,拱卫首都建康和扼制上游桓氏势力东山再起,抵御前秦南下等,谢安也打算成立新军。孝武帝太元二年(377年)十月,朝廷任命谢安侄子谢玄为南兖州刺史,负责筹组新军。谢玄随即把南兖州的军事治理机关从京口(今江苏镇江市)移到广陵(今江苏扬州市),南徐、南兖两州侨户纷纷应征入伍。当时彭城(今江苏徐州市)刘牢之等数人以骁勇应选。谢玄并任命刘牢之为参军,率领精锐作为前锋。因为晋朝百姓称京口为北京,所以当时人称这支军队为“北府兵”。
太元四年(379)五月,前秦兵俱难、彭超部进攻淮南,并包围三阿。北府兵援救三阿,一战告捷,逼前秦兵向北退逃。八年(383年)淝水之战,北府兵更是表现神勇,成为击败前秦的中坚力量。
北府兵的军事实力使它成为各政治集团争夺的对象,北府将领也成为左右东晋政局的重要力量。隆安元年(397年)兖州刺史王恭统帅北府兵,以诛杀王国宝为名起兵,逼迫司马道子将王国宝杀死,自此北府兵成为干预朝政的力量备受注目。次年王恭再次带兵,但因北府将领刘牢之不予合作,并倒向司马元显,致使王恭兵败被杀。元兴元年(402年)桓玄起兵向东进犯,正因为刘牢之也为其收买,所以桓玄才得以攻入建康。而桓玄后来失败,也是因为北府将领刘裕起兵讨伐的缘故。刘裕起兵后任徐州、兖州刺史,尽握北府重兵,为此后执掌东晋政权并取而代之奠定了基础。在东晋后期,北府兵成为左右东晋政局的一支决定性力量。
