李渊起兵后，西京留守官员挖掘他的祖坟，毁坏他的家族祖庙。到这时，卫文开已经去世，戊午日，李渊抓获阴世师、骨仪等人，列举他们贪婪苛刻、抗拒义兵的罪状，将他们全部斩首，处死十多人，其余人不再追究。
马邑郡丞三原人李靖，一向与李渊有矛盾，李渊进入长安后，准备杀死他。李靖大喊说：“您发动义兵，是为了平定暴乱，却要因私怨杀死壮士吗！”李世民为他坚决求情，李渊才赦免他。李世民于是将李靖召入幕府。李靖年轻时就有大志，兼具文武才略，他的舅舅韩擒虎常抚摸着他说：“能和我谈论将帅谋略的，只有这个孩子！”王世充自从洛水北岸战败后，坚守营垒不出战；越王杨侗派使者慰劳他，王世充又惭愧又害怕，请求与李密交战。丙辰日，王世充与李密隔着石子河列阵，李密的阵势南北绵延十多里，翟让先与王世充交战，失利后退；王世充追击，王伯当、裴仁基从侧面截断王世充的后路，李密率领中军进攻，王世充大败，向西逃跑。
翟让的司马王儒信劝翟让自任大冢宰，总揽各项事务，夺取李密的权力，翟让不听。翟让的哥哥柱国荥阳公翟弘，是个粗鄙愚笨的人，对翟让说：“天子该由你自己当，为什么要给别人！你要是不当，我来当！”翟让只是大笑，没把这话放在心上，李密听说后很厌恶。总管崔世枢从鄢陵刚归附李密，翟让就把他囚禁在自己府中，索要财物，崔世枢没能及时凑齐，翟让就想对他用刑。翟让召元帅府记室邢义期赌博，邢义期迟疑没到，翟让就打了他八十杖。翟让对左长史房彦藻说：“你之前攻克汝南，得到很多珍宝财物，只给了魏公（李密），一点都没给我！魏公是我拥立的，今后的事还说不定呢。”房彦藻害怕，把这些情况告诉李密，还与左司马郑飂一起劝李密说：“翟让贪婪固执、不仁不义，有目无君主之心，应该早点除掉他。”李密说：“现在安危还没确定，就互相诛杀，怎么向天下人交代！”郑飂说：“毒蛇咬手，壮士就会斩断手腕，是为了保全大局。要是翟让先得势，我们后悔都来不及。”李密于是同意，设酒宴请翟让。戊午日，翟让与哥哥翟弘、侄子司徒府长史翟摩侯一同拜见李密，李密与翟让、翟弘、裴仁基、郝孝德一起就坐，单雄信等人都站立侍奉，房彦藻、郑飂往来查看。李密说：“今天和各位高官饮酒，不需要太多人，身边只留几个人伺候就行。”李密身边的人都退下，翟让身边的人还在。房彦藻对李密说：“现在正是饮酒作乐的时候，天气很冷，请给司徒（翟让）身边的人赏赐酒食。”李密说：“听从司徒的安排。”翟让回答：“很好。”于是翟让身边的人都退出去，只有李密手下的壮士蔡建德持刀站立侍奉。酒菜还没上，李密拿出好弓，与翟让练习射箭，翟让正要拉满弓，蔡建德从背后用刀砍他，翟让倒在床前，声音像牛吼一样，翟弘、翟摩侯、王儒信也都被杀死。徐世积逃出，守门人砍伤他的脖子，王伯当从远处呵斥制止。单雄信叩头请求饶命，李密赦免了他。身边的人都惊慌失措，不知该怎么办，李密大声说：“我和大家一起发动义兵，本是为了铲除暴乱。司徒（翟让）专行贪婪暴虐，欺凌侮辱百官，没有上下之分；现在只诛杀他一家，与大家无关。”李密命人搀扶徐世积到帐下，亲自为他包扎伤口。翟让的部下想溃散，李密派单雄信前去安抚，不久后李密独自骑马进入翟让的营地，逐一安抚慰问，命令徐世积、单雄信、王伯当分别统领翟让的部众，内外局势才稳定下来。翟让残忍，翟摩侯猜忌，王儒信贪婪放纵，所以他们死的时候，部下没有人为他们哀悼；但李密的将佐从此开始有了疑心。起初，王世充知道翟让与李密必定不能长期和睦，希望他们互相残杀，自己好趁机渔利。等到听说翟让死了，王世充非常失望，叹息说：“李密天资英明果断，是龙是蛇，实在难以预料啊！”
壬戌日，李渊备好皇帝仪仗，迎接代王杨侑在天兴殿即位，代王当时十三岁，大赦天下，改年号，遥尊隋炀帝为太上皇。甲子日，李渊从长乐宫进入长安，朝廷任命李渊为假黄钺、使持节、大都督内外诸军事、尚书令、大丞相，进封唐王。李渊以武德殿为丞相府，将“教令”改为“命令”，每天在虔化门处理政务。乙丑日，榆林、灵武、平凉、安定等郡都派使者前来请求归降。丙寅日，诏令全国军政要务，无论大小，文武官员的任命，无论职位高低，法令制度的制定和赏罚执行，都归丞相府掌管；只有祭祀天地、四季祭祀祖庙的事务，需要上奏皇帝。李渊设置丞相府官属，任命裴寂为长史，刘文静