不久，刘骏从江州起兵，率军讨伐刘劭，先后攻克南洲，溧州等地，顺江东下直扑京师建康。刘骏还向天下发布讨逆檄文，以“千古未有之大逆“为名痛斥刘劭弑父篡位之罪，于是各方军镇纷纷举兵响应。
同年四月，刘骏大军已攻至建康城南的新亭，修建营垒击败刘劭军。刘骏随即在沈庆之、柳元景、宗悫、刘秀之、朱修之等诸将的劝进下，于新亭称帝。五月四日，刘骏攻破建康，擒杀刘劭及二兄刘濬，大赦天下。对文武百官和将士皆赐爵；对年迈、鳏夫寡妇、孤儿、病残、不能生存的百姓，每人赐谷五斛；陈租旧债不再征收，被罚服长期劳役的尽量宽恕。
刘骏即位伊始，还采取了一系列稳固局势的措施：以沈庆之、柳元景、宗悫分掌领军将军、左卫将军、右卫将军，组建新的中央禁军；给刘义恭、刘义宣、刘诞、刘宏、刘祎等人进号加爵，以安抚皇族宗室；任命刘秀之、朱修之、垣护之、申恬、庞秀之等颇有治绩的大臣出任益、雍、冀、青、梁、南秦、兖等各边州刺史，以稳定边州地方局势；派遣大使十五人巡视地方各州郡，了解地方民情，消除刘劭对地方的影响，加强对地方军政的控制；暂不改元，仍使用父皇刘义隆的“元嘉”年号，改立刘义隆庙号“太祖”，谥号“文皇帝”，以彰显自己延续文帝皇统的合法性。
公元454年，由于刘义宣担任荆州刺史长达十年，势力强大，荆州地区地广兵强，号称“江左第一大州”，往往也是之前的异臣叛乱的根据地。刘骏即位后为加强对荆州地区的控制，下诏调刘义宣为丞相、扬州刺史，以削弱其实力，但刘义宣“一不遵承”，不愿交出兵权和离开荆州。车骑将军、江州刺史臧质联合兖州刺史徐遗宝、豫州刺史鲁爽等人，趁机鼓动刘义宣起兵谋反。
同年二月，刘义宣在荆州称帝，举兵起事。孝武帝随即任命镇军将军、南兖州刺史沈庆之统率诸军总督平叛战事，同时遣抚军将军柳元景屯兵采石，南豫州刺史王玄谟于梁山江岸筑却月城，陈舟师，据险扼守。
益州刺史刘秀之、雍州刺史朱修之、广州刺史宗悫也举兵响应朝廷平叛，向荆江二州进攻。三月六日，徐遗宝率先被安北司马夏侯祖权击败，弃众逃走。四月二十日，沈庆之在历阳的小岘大败鲁爽，斩杀鲁爽。五月十八日，刘义宣、臧质率军进攻至梁山，成功攻陷梁山西垒，一度声势浩大。王玄谟督领朝廷诸将，尽遣精兵出垒迎战，朝廷军在薛安都、垣护之、宗越等部的奋击下，最终大败臧质军主力。朝廷军趁胜以火攻，袭击刘义宣、臧质的残军。刘义宣逃回江陵，被朱修之捕杀。六月三日，臧质逃到武昌，被人斩杀，头颅在京城传递示众。
刘骏在平定刘义宣之乱后，除七弟建平王刘宏，“谦俭周慎，礼贤接士”被孝武帝亲爱重用外（一度担任尚书令），基本不再信任和重用宗室亲王，遂订出车服制度二十四条以贬抑宗王，利用和设置典签和行事加强对地方宗室亲王的监察，大肆限制和削弱宗室亲王的势力。
在地方重要州镇出镇任命上，以其幕府旧属朱修之为荆州刺史，打破了刘宋自开朝以来以宗室出镇荆州的惯例和武帝遗诏，又先后以檀和之、沈庆之为南兖州刺史，以刘延孙为南徐州刺史，以垣护之、申坦、王玄谟等为徐州刺史，改变了宋文帝元嘉年间以来，宗室轮流出镇荆州、南徐州、南兖州、徐州等重要大州的局面，此外孝武帝一朝，也几乎再无宗室镇边的任命。