刘裕，原籍徐州彭城(今江苏徐州市)。曾祖混，渡江侨居丹徒的京口，做过武原令(侨县，无实土，寄治武进，属南徐州南彭城郡):祖靖，东安太守:父翘，郡功曹。刘裕虽说是士族，可是北来侨民的生活本来就不优裕，而裕父又早亡，故裕“尝自新洲(在今镇江市西，长江中小洲)伐荻”，“躬耕于丹徒”，“樵渔山泽”。 土断以后侨州郡的编户齐民又加重了兵役的负担，裕以士族， 为北府将领冠军将军孙无终府司马，其后为前将军刘牢之府参军，随牢之镇压浙东农民起义有功，累官至建武将军、下邳太守。 恒玄剪除北府将领，北府中下级军官人人危惧，可是刘裕知道他自己还不够格，并不恐惧，对人说:“今方是桓]玄矫情任算之日，必将用我辈也。"(《宋书·武帝纪》)果然，桓玄任命从兄桓脩(恒冲子)为南徐、南兖二州刺史镇北府(京口)以后，桓脩就以刘裕为参军，把他当作北府中下级军官中培养的对象。桓玄将要做皇帝，桓脩兄桓谦想了解北府将领对这一重大事件的看法，曾单独和刘裕谈话。刘裕对桓谦说:“楚王(玄时封楚王)，宣武(桓温谥宣武)之子，勋德盖世。晋室微弱，民望久移，乘运禅代，有何不可！”这种“劝进”的表示，获得了桓氏对他的信任。可是另一方面，刘裕却在团结北府中下级军官，密谋推翻桓玄。
公元404年二月二十八日，刘裕与北府兵中下级军官何无忌(刘牢之甥)、魏咏之、檀凭之等百余人，在京口起兵，斩桓脩。 同日，北府兵中下级军官刘毅、孟昶、刘道规(刘裕弟)等，也在北府兵另一根据地广陵起兵，斩桓玄所任命的青州刺史桓弘(桓脩弟)。毅等集兵渡江至京口，与裕会师，进攻建康。
桓玄听到北府兵叛变，恐慌异常，派兵堵击，又被北府兵击溃，桓玄只得放弃建康，退往荆州军的根据地江陵。撤退时，还把退位的东晋皇帝司马德宗一起带走。到了江陵之后，桓玄又“大聚兵众”，准备浮江东下，结果在峥嵘洲(今湖北鄂城)一战， 水军主力两万都被刘毅所统率的北府兵击垮，桓玄败退江陵，不久被杀。桓氏的残余势力，还在荆、湘一带继续骚扰，过了一年左右，才完全消灭。白痴的东晋皇帝司马德宗也被迎回建康，重又登上皇帝的宝座。
刘裕起兵成功，以侍中、车骑将军、都督中外诸军事、领南徐、南青二州刺史，镇京口；随后又解除南青州，加领南兖州刺史，于是北府重兵，都掌握在刘裕一人的手中。公元408年，裕又入为扬州刺史录尚书事，实际掌握了东晋政权。
这时，南燕主慕容超乘东晋衰乱之际，派骑兵侵入东晋边境，劫掠晋人充作奴婢，称为“吴口”，分送给后秦各国。公元409年二月，慕容超又派将军公孙归等率骑兵攻破宿豫(今江苏宿迁)，掳东晋阳平太守刘千载、济阴太守徐阮，大掠而去:在所掠晋人中挑选出男女二千五百人，补为乐工。随后公孙归等又侵扰济南，掳去太守赵元及男女千余人。刘裕于是出兵北伐南燕。刘裕的对外用兵，一方面想满足江南人民抗敌的要求，以缓和国内的阶级矛盾；另一方面，刘裕也企图利用对外用兵的胜利，建立更高的威望，使得和他同时起兵的北府将领(如刘毅、诸葛长民等)以及世家大族俯首帖耳，不敢与他抗衡。
公元409年四月，刘裕率水军自建康出发，沿中渎水、泗水到达下邳(今江苏睢宁西北)，留下船舰、辎重，走陆路到琅邪，越过大岘(今山东沂水北穆陵关)，六月，进围广固(今山东青州西北八里)。慕容超向后秦求救，姚兴派了个使臣到刘裕那里警告刘裕说:“今当遣铁骑十万，径据洛阳。晋军若不退者，便当遣铁骑长驱而进。”刘裕的答复是:“语汝姚兴:我定燕之后，息甲三年，当平关、洛。今能自送，便可速来。”(《宋书·武帝纪》)当然， 后秦姚兴不过是虚声恫吓而已。公元410年二月，刘裕攻下广固，生擒慕容超(送至建康市斩首)，灭南燕，收复了青、兖广大地区。刘裕的功业，这时已超轶祖逖、桓温，东晋政权中，没有人能和他抗衡了。