面紫赤色，有神力，東晉太元二年（377年）以驍勇應選為參軍，戰無不捷，號北府兵。淝水之戰時，他統精兵五千，直趨洛澗，摧敗前秦軍前鋒。功升龍驤將軍。後隨謝玄北伐。

隆安元年（397年），王恭討王國寶，以劉牢之為軍府司馬。次年，司馬元顯收買劉牢之，擊潰王恭，後任都督兗、青、冀、幽、並、徐、揚諸州軍事。元興元年（402年）又率兵投降桓玄。桓玄攻入建康，殺司馬元顯，為翦除北府兵將領，奪牢之兵權，以其堂兄桓修代之。

面紫赤色，有神力，東晉太元二年（377年）以驍勇應選為參軍，戰無不捷，號北府兵。淝水之戰時，他統精兵五千，直趨洛澗，摧敗前秦軍前鋒。功升龍驤將軍。後隨謝玄北伐。

隆安元年（397年），王恭討王國寶，以劉牢之為軍府司馬。次年，司馬元顯收買劉牢之，擊潰王恭，後任都督兗、青、冀、幽、並、徐、揚諸州軍事。元興元年（402年）又率兵投降桓玄。桓玄攻入建康，殺司馬元顯，為翦除北府兵將領，奪牢之兵權，以其堂兄桓修代之。