刘宋经第一次北伐大败，一时无力再举，遂整顿政治、恢复国力，以图再举。宋文帝北伐之志不曾懈怠，待国力稍见恢复后，立即着手进行北伐的准备工作。
元嘉二十一年(444年)，以左军将军徐琼为兖州刺史，由彭城(今江苏徐州)移镇须昌(今山东东平西南)，以大将军参军申恬为冀州刺史，移镇历下(今山东济南西)次年，以武陵王、南豫州刺史刘骏为雍州刺史镇襄阳(今湖北襄樊)。接着，罢南豫州并入豫州，以南平王、南豫州刺史刘铄为豫州刺史，镇寿阳(今安徽寿县)。
元嘉二十三年(446年)三月，北魏高梁王拓跋那等人率大军攻入刘宋边境，侵扰兖、青、冀3州，并掳走百姓4000余人，牛6000佘头。宋文帝遂将北伐列入议事日程，向群臣谘询北伐之策。
御史中丞何承天上《实边论》陈述己见，他提出如果想彻底解决北魏侵扰问题，应当“大田淮、泗，内实青、徐，使民有臝储，野有积谷，然后分命方、召，总率虎旅，精卒十万，使一举荡夷，则不足稍勤王师，以劳天下”。又说：“奇兵深入，杀敌破军，苟陵患未尽，则困兽思斗，报复之役，将遂无已”。
因此，他主张宜安边固守即所谓“坚壁淸野，以俟其来，整甲缮兵，以乘其敝”。应该说，何承天的意见，较为切合刘宋对魏战争的实况。但宋文帝志在北伐拓境，未能采纳何承天的安边之策。彭城太守王玄谟迎合宋文帝，屡上疏陈述北伐，却大为宋文帝宠信。
王玄谟字彦德，喜欢空谈兵事。他喜欢谈，宋文帝喜欢听，听得人神时还对左右说广听玄谟所陈，令人有封狼居胥意御史中亟袁淑会拍马屁，便说陛下席卷赵魏之后，定要封禅泰山，臣逢千秋难得的机会,愿意写上一篇《封禅书》。文帝听了大为高兴，似乎中原已经回到了宋朝的版图。
元嘉二十五年，宋文帝以彭城地当南北要冲，以武陵王刘骏为安北将军、徐州刺史，镇彭城。次年，以竟陵王刘诞为后将军、雍州刺史，镇襄阳。因襄阳为临魏境军事重镇，朝廷“欲广其资力，乃罢江州军府，文武悉配雍州，湘州入台税租杂物，悉给襄阳”。这些措施都是为大举北伐而做的准备工作。
元嘉二十七年(450年)二月，北魏太武帝拓跋焘亲率大军10万南进，刘宋陈、南顿2郡太守郑琨，汝阳、颍川2郡太守郭道隐弃城而逃。拓跋焘围攻悬瓤(今河南汝南)，守将陈宪率不足千人的守军奋力抵抗。魏军围攻40余日不能破城。刘宋救兵将至，拓跋焘遂撤围北还。
北魏撤军之后，宋文帝决定立即大举北伐。
战前准备
1、东路军6万人由辅国将军、青、冀2州刺史萧斌为统帅，以宁朔将军王玄谟率太子步兵校尉沈庆之、镇军谘议参军申坦等水军1万为先锋，经淮、泗入河，进攻镐礅、滑台等地。镇军将军、徐、兖2州刺史武陵王刘骏率水陆继进，并兼统东路青、冀、徐、兖4州之军。
2、中路军以太子左卫率臧质率东宫禁兵，帅骁骑将军王方回、建武将军刘康祖、右军参军梁坦等步骑10万，直趋许昌(今河南许昌)、洛阳。豫州刺史、南平王刘铄率所部后继配合。
3、西路军以雍州剌史随王刘诞为统帅，率所部进攻弘农(今河南灵宝北)，直向长安(今陕西西安西北)，梁、南秦、北秦三州刺史刘秀之统率所部袭扰汧(山名，在今陕西陇县西南)、陇(山名，在今陕西陇县至甘肃平凉一带)一带，威胁长安。
此外，宋文帝又特派太尉、江夏王刘义恭进驻彭城，统一调度诸军。
刘宋朝廷为补充兵力的不足，从尚书左仆射何尚之议，大发青、冀、徐、豫、二兖六州民丁，三丁抽一，五丁抽二，凡所发民丁，“缘江五郡集广陵，缘淮三郡集盱眙”。又募天下弓弩手，若有马步众艺武力之士应募者，加以厚赏。宋廷为了筹足军资，下令扬、南徐、兖、江4州富民家资满50万，僧尼满20万者，“并四分换一，过此率计，事息即还”。
从刘宋政权在战争开始时所采取的这些措施，可以看出刘宋不仅在谋略上没有经过仔细的筹划，而且北伐的兵力和财力的准备，也是很不充分的。
