402年，元显乘荆州饥馑，举兵伐玄，刘牢之又倒戈，桓玄入京城，元显和道子都被杀。桓玄是个狂妄的人。得志之后，夺掉了刘牢之的兵权，牢之谋反抗，而手下的人不满他的屡次倒戈，不肯服从，牢之自缢而死。桓玄以为天下无事了，就废安帝自立。然刘牢之虽死，北府兵中人物尚多。404年，刘裕等起兵讨玄，玄遂败死。安帝复位。刘裕入居中央，掌握政权，一时的功臣，都分布州郡，南方的形势一变。
409年，刘裕出兵灭南燕。想要停镇下邳，经营河、洛，而后方又有变故。先是399年，孙恩起兵会稽（今浙江绍兴），剽掠沿海。后为刘牢之及刘裕所破，入海岛而死。其党卢循袭据广州。桓玄不能讨，用为刺史。卢循又以其妹夫徐道覆为始兴相（今广东曲江县）。
刘裕北伐时，卢循、徐道覆乘机北出，沿江而下，直逼京城。此时情势确甚危急。刘裕速回兵，以疲敝之众，守住京城。卢循、徐道覆不能克，退回上流，为裕所袭败。裕又遣兵从海道袭据广州，把他们打平。刘裕于是剪除异己。
至417年，复大举以灭后秦。此时后魏正值中衰；涼州一隅，目前秦亡后，复四分五裂，然其中并无强大之国（氐酋吕光，为苻坚将，定西域。苻坚败后，据姑臧自立，是为后凉。后匈奴酋沮渠蒙逊据张掖叛之，为北凉。汉族李暠据敦煌，为西凉。鲜卑秃发乌孤据乐都为南凉。后凉之地遂分裂。又有鲜卑乞伏国仁，据陇右，为西秦。后凉为后秦所灭。西凉为北凉所灭。南凉为西秦所灭。西秦为夏所灭。北凉为后魏所灭。姑臧，今甘肃武威县。张掖，敦煌，今县皆同名。乐都，今碾伯县。西秦初居勇士川，在今甘肃金县后徙苑川，在今甘肃靖远县）；夏虽有剽悍之气，究系偏隅小国；倘使刘裕能在关中驻扎几年，扩清扫荡之效，是可以预期的，则当南北朝分立之初，海内即可有统一之望，以后170年的分裂之祸，可以免除了。然旧时的英雄，大抵未尝学问。个人权势意气之争，重于为国为民之念。以致同时并起，资望相等的人物，往往不能相容，而要互相翦灭，这个实在使人才受到一个很大的损失。