炀帝因为李渊与王仁恭不能抵御贼寇，派使者要将他们押送江都。李渊非常恐惧。李世民与裴寂等人又劝李渊说：“如今主上昏庸国家混乱，尽忠没有好处。副将失利，却要怪罪到您头上。事情已经紧迫了，应早定大计。况且晋阳兵马精强，宫监积蓄巨万，凭此起事，何愁不成！代王年幼，关中豪杰并起，不知归附谁，您如果擂鼓西进，安抚并占有他们，如同探囊取物。怎么能接受一个使者的囚禁，坐等被灭族呢！”李渊认为对，秘密部署，将要起事；适逢炀帝又派使者飞马传令赦免李渊及王仁恭，让他们恢复原职，李渊的谋划也暂缓。
李渊任河东讨捕使时，请大理司直夏侯端为副使。夏侯端是夏侯详的孙子，善于占候和相面，对李渊说：“如今玉床星摇动，帝座星不安，参宿所在分野得岁星，一定有真命天子在其分野兴起，不是您又是谁呢！主上猜忌残忍，尤其忌恨各李姓，李金才已死，您不想变通，必定是下一个了。”李渊心里同意。等到留守晋阳，鹰扬府司马、太原人许世绪劝李渊说：“您的姓氏在图谶上，名字应验歌谣；掌握五郡的兵马，身处四战之地，起事则帝业可成，安居则灭亡转眼即至；希望您考虑。”行军司铠、文水人武士彟、前太子左勋卫唐宪、唐宪的弟弟唐俭都劝李渊起兵。唐俭劝李渊说：“明公北招戎狄，南收豪杰，以夺取天下，这是商汤、周武的举动。”李渊说：“商汤、周武不敢比拟，在私是为了图存，在公是为了拯救乱世。您暂且自重，我将考虑。”唐宪是唐邕的孙子。当时李建成、李元吉还在河东，所以李渊拖延没有发动。
刘文静对裴寂说：“先发制人，后发制于人。为什么不早劝唐公起兵，却拖延不止！况且您是宫监，却用宫人侍奉宾客，您死也就罢了，为什么要误唐公呢！”裴寂很恐惧，屡次催促李渊起兵。李渊于是让刘文静伪造敕书，征发太原、西河、雁门、马邑百姓年龄二十岁以上五十岁以下全部当兵，规定年底在涿郡集合，去攻打高丽，因此人心惶惶，想造反的人更多。
等到刘武周占据汾阳宫，李世民对李渊说：“大人身为留守，而盗贼窃据离宫，不早定大计，灾祸现在就要到了！”李渊于是召集将佐对他们说：“刘武周占据汾阳宫，我们不能制服，罪当灭族，怎么办？”王威等人都恐惧，再拜请求定计。李渊说：“朝廷用兵，一举一动都要禀报并受节制。如今贼在数百里内，江都在三千里外，加上道路险要，又有别的贼寇占据；用守城不知变通的军队，抵挡巨猾豕突般的势头，必定不能保全。进退两难，怎么办才好？”王威等人都说：“您既是宗亲又是贤臣，与国家休戚相关，如果等待奏报，哪里赶得上事机；关键在于平定贼寇，专断行事是可以的。”李渊假装不得已而听从的样子，说：“既然如此，那么先应当集结兵马。”于是命令李世民与刘文静、长孙顺德、刘弘基等人各自招募兵马，远近百姓前来投集，十几天内将近万人，同时秘密派使者到河东召李建成、李元吉，到长安召柴绍。
王威、高君雅看到兵马大量集结，怀疑李渊有异心，对武士彟说：“长孙顺德、刘弘基都是逃避征役的三侍之官（指侍官、勋侍、翊侍等宿卫官），所犯当死，怎么能统兵！”想逮捕审问他们。武士彟说：“这两人都是唐公的客人，如果这样做，必然引起很大纠纷。”王威等人才作罢。留守司兵田德平想劝王威等人查究招募兵马的情况，武士彟说：“讨捕的兵马，都隶属于唐公，王威、高君雅只是寄身于此罢了，他们能怎么样！”田德平也作罢。
晋阳乡长刘世龙秘密报告李渊说：“王威、高君雅想趁晋祠祈雨之机，做对您不利的事。”五月，癸亥（十四日）夜里，李渊派李世民在晋阳宫城外面埋伏兵马。甲子（十五日）早晨，李渊与王威、高君雅坐在一起办公，派刘文静带着开阳府司马、胙城人刘政会进入站在庭中，声称有密状。李渊用眼神示意王威等人取状来看，刘政会不给，说：“所告发的是关于副留守的事，只有唐公能看。”李渊假装吃惊说：“难道有这种事吗！”看那状子，上面说：“王威、高君雅暗中勾引突厥入寇。”高君雅捋起袖子大骂道：“这是造反的人想杀我罢了！”当时李世民已经布置兵马堵塞了街道，刘文静于是与刘弘基、长孙顺德等人一起逮捕王威、高君雅关入监狱。丙寅（十七日），突厥数万兵马侵犯晋阳，轻骑兵进入外城北门，从东门出去。李渊命令裴寂等人部署兵马防备，却把各城门全部打开，突厥无法猜测，不敢前进。众人以为确实是王威、高君雅召来的，李渊于是斩杀王威、高君雅示众。李渊部将王康达率领一千多人出战，全部战死，城中恐惧。李渊夜里派军队悄悄出城，早晨则张旗鸣鼓从别的道路来，如同援军；突厥始终怀疑，在城外停留两天，大肆抢掠后离去。
炀帝命令监门将