当时大规模征兵，王公贵族、王妃公主、朝廷官员、州郡长官，下至富裕百姓，都捐献金银、丝绸、杂物来补充国家军用。又因兵力不足，征调青州、冀州、徐州、豫州、南兖州、北兖州六州的“三五民丁”（每三丁抽一、五丁抽二，轮流服役），临时征发，命令到达后十天内准备好；沿长江五郡的民丁在广陵（今江苏扬州）集结，沿淮河三郡的民丁在盱眙（今江苏盱眙）集结。
又招募朝廷内外有骑兵、步兵技能或武力出众的人，都给予丰厚奖赏。有关部门又上奏说军用物资不足，请求对扬州、南徐州、兖州、江州四州家产满五十万的富人，以及财产满二十万的僧尼，各借四分之一的财产，战事结束后归还。
建武司马申元吉领兵赶赴碻磝（今山东茌平）。七月十七日（乙亥日），北魏济州刺史王买德弃城逃走。萧斌派将军崔猛攻打乐安（今山东广饶），北魏青州刺史张淮之也弃城逃走。萧斌和沈庆之留守碻磝，派王玄谟进军包围滑台（今河南滑县）。
雍州刺史随王刘诞派中兵参军柳元景、振威将军尹显祖、奋武将军曾方平、建武将军薛安都、略阳太守庞法起，领兵从弘农（今河南灵宝）出兵。后军外兵参军庞季明，七十多岁，自认为是关中豪门，请求进入长安招集汉族和异族百姓，刘诞同意了；庞季明从赀谷（今河南卢氏附近）进入卢氏县，卢氏百姓赵难接纳了他。庞季明于是劝说当地士人百姓，响应他的人很多，薛安都等人趁机从熊耳山（今河南卢氏南）出兵；柳元景领兵随后跟进。
豫州刺史南平王刘铄派中兵参军胡盛之从汝南出兵，梁坦从上蔡（今河南上蔡）进军长社（今河南长葛）。北魏荆州刺史鲁爽镇守长社，弃城逃走。鲁爽是鲁轨的儿子。幢主（低级武官）王阳儿攻打北魏豫州刺史仆兰，击败了他，仆兰逃奔虎牢（今河南荥阳）；刘铄又派安蛮司马刘康祖领兵援助梁坦，逼近虎牢。
北魏大臣起初听说刘宋出兵，对太武帝说，请派兵救援黄河沿岸储存粮食布帛的地方。太武帝说：“现在马还没养肥，天气还热，仓促出兵一定没战功。要是刘宋军队持续进军，我就暂时退回阴山躲避。我们本就穿着羊皮裤，哪里需要丝绸布帛！等十月以后，我就没什么可担心的了。”
九月初四（辛卯日），北魏太武帝领兵南下救援滑台，命太子拓跋晃驻守漠南防备柔然，吴王拓跋余镇守平城。九月十三日（庚子日），北魏征调各州郡五万士兵，分配给各路军队。
王玄谟的军队人数众多，武器精良，但他贪婪固执又好杀人。起初包围滑台时，城中有很多茅屋，士兵请求用火箭烧茅屋。王玄谟说：“那些都是我的财产，怎么能马上烧掉！”城中北魏军趁机拆了茅屋，挖地穴居住。当时黄河、洛阳一带的百姓，争相捐献粮食、拿起武器来投奔王玄谟，每天有上千人，王玄谟不任命他们的首领，反而把他们分配给亲信；还向百姓索要一匹布，却强征八百个大梨（变相掠夺），从此百姓大失所望。
王玄谟围攻滑台几个月没攻下，听说北魏救兵将至，士兵请求用战车筑起营垒，王玄谟不听。
冬天，十月初七（癸亥日），北魏太武帝抵达枋头（今河南浚县），派关内侯代郡人陆真，夜里带几人突破包围，潜入滑台，安抚城中守军，又登上城墙查看王玄谟军营的部署，返回后报告太武帝。十月初九（乙丑日），太武帝渡过黄河，军队号称百万，战鼓声震动天地；王玄谟恐惧，率军撤退。北魏军追击，刘宋军战死一万多人，王玄谟的部下几乎逃散殆尽，军用物资和武器堆积如山，全被丢弃。
此前，王玄谟派钟离太守垣护之率领一百艘战船作为前锋，占据石济（今河南滑县西南），在滑台西南一百二十里处。垣护之听说北魏军将至，快马送信劝王玄谟加紧攻城，说：“从前武帝（刘裕）攻打广固（今山东青州），战死的人很多。现在形势比当年更紧迫，怎能顾虑士兵伤亡疲劳！希望以攻克滑台为首要任务。”王玄谟不听。
等到王玄谟败退，来不及通知垣护之。北魏军用缴获的王玄谟的战船，用三重铁锁连接，截断黄河，阻断垣护之的退路。黄河水流湍急，垣护之率军从河中央顺流而下，每遇到铁锁，就用长柄斧头砍断，北魏军拦不住他；最终只损失一艘战船，其余战船都完好返回。
萧斌派沈庆之率领五千人救援王玄谟，沈庆之说：“王玄谟