他只得重新迎回孝庄帝，叩头谢罪，随后率军返回晋阳，虽身居外藩，却在洛阳朝廷中大量安插亲信党羽，占据要害职位，遥控朝政，孝庄帝实则沦为傀儡。
经此一役，尔朱荣权倾朝野，成为北魏王朝实际的掌控者。
尽管河阴之变让尔朱荣背负千古骂名，但他在军事上的才能却堪称卓越。
北魏末年群雄并起，叛乱蜂拥，正是凭借尔朱荣的军事征伐，摇摇欲坠的北魏王朝才得以延续数年，北方地区的统一也在一定程度上得到维护。
孝昌四年（528年），六镇起义军首领葛荣在兼并杜洛周的部众后，势力达到顶峰，号称拥有百万大军，他自立为齐帝，年号广安，率军南下围攻相州（今河北临漳县），兵锋直指洛阳，北魏朝廷震动。
此时的葛荣横行河北已久，听闻尔朱荣仅率七千骑兵前来征讨，颇为轻视，将军队分散布置，形如簸箕，毫无防备。
尔朱荣却早已胸有成竹，他深知敌军虽众但人心涣散，于是采取了一系列精妙战术：令士兵人携两马，昼夜兼行，快速机动。
在山谷中分设伏兵，每处安排三名督将与数百骑兵。
又令数百组士兵骑马四处奔驰，扬尘鼓噪，制造兵力雄厚的假象。
同时为避免士兵贪功恋战，下令不以首级论功，只以破敌为赏，并给士兵每人配发袖中短棒，便于近距离格斗。
决战当日，尔朱荣身先士卒，率领精锐骑兵从敌军侧后方发动突袭，伏兵四起，内外夹击。
契胡骑兵勇猛善战，在乱军中左冲右突，葛荣的大军猝不及防，瞬间陷入混乱，数十万军队土崩瓦解，葛荣本人也被生擒。
战后，尔朱荣面临着如何处置数十万降兵的难题，他担心直接分散押送会引发叛乱，于是采取安抚之策，下令降兵就地遣散，允许亲属相随，不问过往，同时选拔其中的首领贤才，量才任用。
这一举措极大地稳定了人心，降兵皆心悦诚服，数十万部众得以顺利安置。
同年十月，尔朱荣将葛荣押送至洛阳处死，困扰北魏多年的葛荣之乱就此平定。
此后，尔朱荣又接连平定多处叛乱。
永安元年（528年），派遣都督侯深征讨幽、平二州的韩娄起义军，成功击灭并斩杀韩娄。
永安二年（529年），击败南梁扶持的元颢政权，击退名将陈庆之的北伐军，收复洛阳。
永安三年（530年），派遣骠骑大将军尔朱天光等率军进入关中，镇压万俟丑奴、万俟道洛、王庆云等领导的关陇起义，将关中地区重新纳入北魏版图。
短短数年之间，尔朱荣凭借其卓越的军事指挥才能和精锐的契胡骑兵，扫平了北方各地的叛乱势力，“擒葛荣，诛元颢，戮邢杲，翦韩娄，丑奴、宝夤咸枭马市”，正如《魏书》所评：“则不知几人称帝，几人称王也。”
其武功之盛，在北魏末年无人能及。
随着四方叛乱逐渐平定，尔朱荣与孝庄帝元子攸之间的矛盾日益尖锐。
尔朱荣虽无皇帝之名，却有皇帝之实，他在晋阳遥控朝政，朝廷官员的任免、军国大事的决策，皆需听从其旨意。
他广布党羽，宗族亲信遍布朝野，其女儿尔朱英娥本是孝明帝的妃子，后被尔朱荣强迫孝庄帝纳为皇后，即大尔朱氏，皇后骄横跋扈，时常干预政事，甚至对孝庄帝出言不逊，夫妻关系极为紧张。
孝庄帝虽为尔朱荣所立，但并非甘为傀儡之人，他天资聪颖，颇有志向，对尔朱荣的专权与河阴之变的血腥记忆深刻，内心早已积蓄了强烈的不满与反抗之意。
永安三年（530年），尔朱荣的女儿尔朱皇后生下太子，尔朱荣以此为借口，率领四五千骑兵从晋阳赶赴洛阳，名义上是探望外孙，实则暗藏进一步控制朝政的野心。
消息传来，洛阳城内人心惶惶，百姓皆传言尔朱荣将篡位称帝，孝庄帝深知此次若不采取行动，自己必将性命难保。
他暗中与城阳王徽、侍中杨侃、李彧、尚书右仆射元罗等人密谋，决定趁尔朱荣入朝之际将其诛杀。
此时，尔朱荣的亲信也察觉到了危险，纷纷劝说他先发制人，但其妻子北乡公主也劝他不要轻易入京，然而尔朱荣自恃功高盖世，兵强马壮，认为孝庄帝不敢对自己下手，对所有警告都置若罔闻。
尔朱荣入京后，曾当面询问孝庄帝民间关于他谋反的传言，孝庄帝从容应对，谎称只是谣言，成功打消了尔朱荣的疑虑。
此后，尔朱荣每次入朝，随从不过数十人，且都不带兵器，防备日渐松懈。
同年九月二十五日，孝庄帝在明光殿东廊埋伏好甲士，派人前往尔朱荣的府邸，谎称皇后产后身体不适，召其入宫探望。
尔朱荣毫无防备，与十四岁的儿子尔朱菩提及三十余名侍从一同入宫。