东晋孝武帝太元二年（377年），由于前秦已一统北部中国，东晋王朝受到空前的军事压力，因此诏求良将镇御北方。当时的权臣谢安遂任命其侄子谢玄应举。朝廷任命谢玄为建武将军、兖州刺史、领广陵相、监江北诸军事，镇广陵。

其时广陵和京口聚居着大量逃避北方战乱而来的流民，谢玄到任后，在这些人中选拔骁勇士卒如刘牢之等，建立了一支军队，太元四年（379年），谢玄改镇京口，因为当时京口又名北府，故而其军得名北府兵。

东晋孝武帝太元二年（377年），由于前秦已一统北部中国，东晋王朝受到空前的军事压力，因此诏求良将镇御北方。当时的权臣谢安遂任命其侄子谢玄应举。朝廷任命谢玄为建武将军、兖州刺史、领广陵相、监江北诸军事，镇广陵。

其时广陵和京口聚居着大量逃避北方战乱而来的流民，谢玄到任后，在这些人中选拔骁勇士卒如刘牢之等，建立了一支军队，太元四年（379年），谢玄改镇京口，因为当时京口又名北府，故而其军得名北府兵。