尔朱荣的先祖本是来自中亚的伊兰人，属契胡部落一支，与后赵石勒、石虎同出一源。
自其高祖尔朱羽健起，尔朱氏便世代为北魏效力。
登国初年，尔朱羽健率领契胡武士一千七百人，跟随北魏道武帝拓跋珪平定晋阳、攻灭后燕，因功勋卓着被授予散骑常侍，获封三百里封地，定居尔朱川，遂以地为姓。
此后数代，尔朱氏皆世袭领民酋长，成为北方举足轻重的部落贵族。
至其父尔朱新兴时，家族势力愈发兴盛，尔朱新兴不仅善于经营畜牧产业，使部落财富丰饶，更注重与朝廷权贵结交，频繁贡献战备物资，被封为平北将军、秀容第一领民酋长，为家族积累了深厚的政治资本。
延至正光年间（520年—525年），尔朱荣袭承父位，彼时的北魏已步入末年，政治腐败，民生凋敝，四方兵乱迭起。
北方柔然频繁入寇，内地各族人民起义此起彼伏，尤以六镇起义声势最为浩大，北魏王朝的统治摇摇欲坠。
尔朱荣自幼聪慧机敏，遇事极具决断，且容貌俊美、胆识过人，他敏锐地察觉到乱世中的机遇，毅然散尽家财，驱散畜牧，召集四方义勇，发放战马衣物，组建了一支强悍的契胡骑兵。
这支军队以部落勇士为核心，剽悍善战，纪律严明，成为尔朱荣日后逐鹿天下的资本。
尔朱荣的崛起之路，始于对各类叛乱的镇压。
他先是跟随都督李崇在忻州抵御柔然入侵，凭借骁勇立下战功。
随后又接连镇压乞扶莫、北列步若等部族叛乱，在战火中不断扩充实力。
在平叛过程中，尔朱荣展现出卓越的识人眼光，他深知人才的重要性，对降兵中的有识之士不拘一格予以任用。
高欢、贺拔岳、侯景、宇文泰等日后搅动天下风云的人物，皆在此时被尔朱荣收于麾下，成为其得力干将。
孝昌二年（526年）八月，尔朱荣不再满足于依附朝廷，果断举兵袭取肆州（今山西忻县），擒获刺史尉庆宾，自行任命官吏，将叔父安置为刺史，从此兵势日盛，朝廷亦无法节制。
与此同时，他迎娶南安王拓跋桢之女北乡公主，借联姻进一步提升自身政治地位，为日后介入中央政权铺平道路。
北魏武泰元年（528年），北魏朝廷内部爆发剧烈冲突。
胡太后长期把持朝政，重用奸佞，政治腐败不堪，与逐渐长大的孝明帝元诩矛盾日益尖锐。
孝明帝对母后的专权与秽行深为不满，暗中密诏尔朱荣率军入京，欲借其兵力逼迫胡太后还政。
尔朱荣接到密诏后大喜过望，立即整军出发，不料事机泄露，胡太后抢先下手，与宠臣合谋毒死孝明帝，另立三岁的元钊为帝，企图继续掌控朝政。
这一消息传来，尔朱荣怒不可遏，他当即发表檄文，痛斥胡太后弑君乱政之罪，拥立长乐王元子攸为帝（即孝庄帝），自任侍中、都督中外诸军事、大将军、尚书令、太原王，率领大军向洛阳进发。
胡太后的亲信党羽早已人心涣散，面对尔朱荣的精锐铁骑，毫无抵抗之力，大军顺利进入洛阳。
尔朱荣入城后，胡太后还想辩解求饶，却被尔朱荣毫不留情地斥退，最终与幼帝元钊一同被沉入黄河淹死，结束了其乱政的生涯。
然而，攻克洛阳并未满足尔朱荣的野心。
他深知自己虽手握重兵，但在朝廷中根基尚浅，洛阳的汉化鲜卑贵族与汉族大族对这位出身边地的契胡首领心存鄙夷，难以驾驭。
在亲信费穆的劝说下，尔朱荣决定采取极端手段立威，一场震惊朝野的血腥屠杀就此上演。
他以祭天为名，召集文武百官于河阴之陶渚（今河南孟津县东），逼迫孝庄帝循河西行至河阴。
当百官齐聚行宫西北后，尔朱荣登上高台，大声叱责道：“天下丧乱，先帝暴崩，皆由汝等贪虐无道，不能辅弼所致。”
话音刚落，便下令麾下骑兵纵兵大杀。
这场被后世称为“河阴之变”的惨案，规模空前惨烈，上至丞相高阳王元雍、司空元钦、义阳王元略等王公贵族，下至普通官吏、甚至居丧在家的黄门郎王遵业兄弟，不分良莠，尽遭屠戮。
据《魏书》《北史》记载，死难者达一千三百余人，《资治通鉴》则记载有两千余人，迁洛以来形成的汉化鲜卑贵族与汉族士族精英几乎被一网打尽。
河阴之变彻底改变了北魏的政治格局。
尔朱荣通过血腥杀戮清除了朝廷中的反对势力，震慑了朝野上下，但也彻底断绝了与北魏皇室及汉族士族的和解之路，使自己沦为“乱臣贼子”。
此时的尔朱荣曾一度想要篡位称帝，他效仿北