但李存勖却坚持自己的计划，他对将领们说：“王彦章虽然勇猛，但他没有什么谋略，只要我们留下少量军队牵制他，他就会把全部精力放在杨刘，不会想到我们会奇袭汴梁。而且汴梁城内兵力空虚，只要我们速度够快，就一定能攻克！”
同年十月，李存勖留下大将李嗣源率领少量军队牵制王彦章，自己则率领三万精锐骑兵，从魏州出发，秘密南下。为了不被后梁的侦察兵发现，李存勖命令军队昼伏夜行，只在夜间行军，白天则隐藏在树林或山谷中休息。
经过艰苦行军，李存勖率领的军队终于抵达汴梁城外。此时的汴梁城内，后梁末帝朱友贞还不知道李存勖已经兵临城下，直到后唐军队开始攻城，他才惊慌失措地召集大臣商议对策。但此时汴梁城内兵力空虚，根本无法抵挡后唐军队的进攻，大臣们有的主张投降，有的主张逃跑，乱作一团。
朱友贞知道自己大势已去，又不愿被李存勖俘虏，便命令亲信皇甫麟将自己杀死。皇甫麟不忍下手，朱友贞说：“我身为后梁皇帝，不能落入敌人手中，你若不杀我，就是背叛我！”皇甫麟无奈，只好拔剑将朱友贞杀死，随后自己也自杀身亡。
朱友贞死后，汴梁城内的守军失去了抵抗的意志，纷纷打开城门投降。李存勖率领军队进入汴梁，后梁正式灭亡。当李存勖走到后梁皇宫的大殿时，他拿出那支代表消灭后梁的箭，对着天空说：“父王，儿子已经消灭后梁，完成了您的第一个遗愿！”
灭亡后梁后，李存勖率领军队北上，回师魏州。途中，王彦章率领的后梁主力得知汴梁已破、朱友贞已死的消息后，军心大乱，士兵们纷纷投降，王彦章虽然顽强抵抗，但最终还是被后唐军队俘虏。李存勖见到王彦章后，劝他投降，说：“你是一员猛将，若肯归顺我，我必重用你。”但王彦章宁死不降，说：“我身为后梁将领，不能背叛君主，你要杀便杀，不必多言！”李存勖见他忠义，将他处死后以大臣之礼安葬。
至此，后唐统一了北方的大部分地区，李存勖的事业达到了巅峰。他从晋阳的少年英雄，到继承父业的晋王，再到灭亡后梁、建立后唐的皇帝，用了十五年的时间，完成了父亲的两大遗愿，也成为了唐末五代年间最具传奇色彩的人物之。
灭亡后梁后，李存勖将都城从魏州迁到了洛阳，开始着手统一全国的计划。当时南方有多个割据政权，其中实力最强的是前蜀。前蜀的开国皇帝是王建，王建死后，他的儿子王衍继位。王衍是个昏庸无能的君主，他沉迷酒色，不理朝政，重用宦官和奸臣，导致前蜀政治腐败，百姓困苦，军队战斗力急剧下降。
李存勖认为消灭前蜀的时机已到，便在同光三年（925年）九月，任命郭崇韬为招讨使，李继岌为都监，率领六万大军南下讨伐前蜀。郭崇韬是后唐的开国功臣，他足智多谋，治军严明，深受李存勖的信任；李继岌是李存勖的儿子，当时只有二十岁，李存勖派他担任都监，一是为了让他积累军功，二是为了监视郭崇韬。
后唐军队南下后，进展十分顺利。前蜀的军队早已腐朽不堪，根本无法抵挡后唐军队的进攻。后唐军队先后攻克了威武城（今陕西凤县）、凤州（今陕西凤县东北）等地，很快就逼近了前蜀的都城成都。王衍得知后唐军队逼近成都的消息后，惊慌失措，他想率军逃跑，但大臣们都劝他投降。无奈之下，王衍只好派使者向后唐军队投降，前蜀正式灭亡。
从后唐军队出发到前蜀灭亡，只用了七十天的时间，如此迅速地灭亡一个割据政权，在唐末五代年间是十分罕见的。消息传到洛阳，李存勖大喜过望，他下令将王衍及其家族成员押回洛阳，准备在太庙举行献俘仪式，庆祝自己的又一次胜利。
李存勖在灭亡后梁、平定前蜀后，开始变得骄傲自满，他认为自己已经完成了统一大业，不需要再像以前那样辛苦征战，于是开始沉迷于戏曲，宠信伶人。伶人就是当时的戏曲演员，李存勖自幼就喜欢戏曲，称帝后更是变本加厉——他不仅经常在宫中观看戏曲表演，还亲自登台演唱，给自己取了个艺名，叫“李天下”。
为了方便自己看戏、演戏，李存勖提拔了不少伶人担任官职。这些伶人大多没有什么才能，只会阿谀奉承，他们凭借李存勖的宠爱，在宫中作威作福，欺压大臣，甚至还陷害忠臣。大臣们对此十分不满，纷纷向李存勖进谏，但李存勖根本不听，反而认为大臣们是在嫉妒伶人，对进谏的大臣加以斥责，甚至处死。
郭崇韬在平定前蜀后，因为功高盖主，遭到了伶人和宦官的嫉妒。他们在李存勖面前诬告郭崇韬，说他在成都私吞了前蜀的财宝，还想谋反。李存勖本来就对郭崇韬有些猜忌，听了伶人和宦官的诬告后，更是深信不疑，他下令让李继岌在成都处死郭崇韬。郭崇韬是后唐的开国功臣，他的死让不少大臣感到心寒，也为后唐的灭亡埋下了伏笔。