恰逢突厥侵犯马邑，李渊派高君雅率领士兵与马邑太守王仁恭合力抵御；王仁恭、高君雅作战失利，李渊担心自己也会被牵连治罪，十分忧虑。李世民趁机屏退旁人，劝说李渊：“现在皇上无道，百姓穷困，晋阳城外都是战场。父亲您若固守小节，下有盗贼侵扰，上有严刑责罚，危亡之日不远了。不如顺应民心，发动义兵，转祸为福，这是上天赐予的时机啊。”李渊大惊，说：“你怎能说这种话！我现在就把你抓起来，报官治罪！”说着就要拿纸笔写奏表。李世民从容道：“我观察天时人事已是如此，才敢说这话；您若一定要抓我报官，我不敢逃避死罪！”李渊说：“我怎忍心告发你，你千万不要再多说！”第二天，李世民又劝李渊：“现在盗贼日益增多，遍布天下，父亲您受诏讨伐盗贼，可盗贼能杀得尽吗？说到底，终究免不了获罪。况且世人都传言李氏会应验谶语，所以李金才（李浑）无罪却满门抄斩。您就算能平定所有盗贼，也会因功高震主无法受赏，自身反而更危险！只有我昨天说的办法，才能化解灾祸，这是万全之策，希望您不要再犹豫！”李渊于是叹息道：“我一夜都在想你的话，确实很有道理。如今是家破人亡还是化家为国，都全靠你了！”
此前，裴寂私下让晋阳宫的宫女侍奉李渊，一次李渊与裴寂饮酒，酒意正浓时，裴寂从容说：“二郎（李世民）暗中招兵买马，想举大事，正是因为我让宫女侍奉您，担心事情败露后一起被处死，才出此应急之计。现在众人心意已合，您意下如何？”李渊说：“我儿确实有这个谋划，事已至此，又能怎么办，只能听从他了。”
隋炀帝因李渊和王仁恭不能抵御突厥，派使者要将两人押到江都。李渊极度恐惧。李世民与裴寂等人再次劝说：“现在皇上昏庸、国家混乱，尽忠没有好处。副将打仗失利，却要怪罪您。事情已迫在眉睫，应尽早定计。况且晋阳兵马精锐，宫监府中物资堆积如山，凭借这些举事，还怕不能成功！代王年幼，关中豪杰纷纷起兵，还不知归附谁，您若大张旗鼓向西进军，安抚并占据关中，就像伸手从口袋里取东西一样容易。怎能接受一个使者的逮捕，坐等被灭族呢！”李渊认同，暗中部署军队，准备起兵；恰逢隋炀帝又派使者快马赶来赦免李渊和王仁恭，让他们官复原职，李渊的起兵计划才暂缓。
李渊担任河东讨捕使时，曾请大理司直夏侯端担任副将。夏侯端是夏侯详的孙子，擅长占卜天象和相面，他对李渊说：“现在帝王星动摇，皇帝宝座不安稳，参星对应的区域（晋阳一带）运势正盛，必定有真命天子从这里崛起，不是您还能是谁呢！皇上猜忌残忍，尤其忌惮姓李的人，李金才已死，您若不知变通，必定是下一个受害者。”李渊内心认同他的话。后来李渊留守晋阳，鹰扬府司马太原人许世绪劝说：“您的姓氏在谶语中，名字应和歌谣预言；占据五郡兵力，身处四方交战的要地，举事就能成就帝业，静坐不动就会很快灭亡；请您好好谋划。”行军司铠文水人武士彟、前太子左勋卫唐宪、唐宪的弟弟唐俭，都劝李渊起兵。唐俭说：“您向北招抚突厥，向南收服豪杰，以此夺取天下，这是商汤、周武王那样的壮举。”李渊说：“我不敢与商汤、周武王相比，私下里是为求自保，公开是为平定乱世。你暂且自重，我会考虑的。”唐宪是唐邕的孙子。当时李建成、李元吉还在河东，所以李渊迟迟没有起兵。
刘文静对裴寂说：“先发制人，后发就会受制于人。为何不早点劝唐公起兵，却一直拖延！况且您是宫监，却让宫女侍奉宾客，您自己死了就算了，怎能耽误唐公！”裴寂十分害怕，多次催促李渊起兵。李渊于是让刘文静伪造敕书，下令征发太原、西河、雁门、马邑百姓中年龄在二十岁以上、五十岁以下的人全部当兵，约定年底在涿郡集合，讨伐高丽。由此民心惶惶，想叛乱的人更多了。
等到刘武周占据汾阳宫，李世民对李渊说：“您是太原留守，却让盗贼占据离宫，不早点定下大计，灾祸现在就要来了！”李渊于是召集将领僚属，说：“刘武周占据汾阳宫，我们却无法制服，按罪应当灭族，该怎么办？”王威等人都很害怕，叩拜请求李渊拿主意。李渊说：“朝廷用兵，一举一动都要听从调度。现在盗贼在几百里内，江都在三千里外，加上道路险要，还有其他盗贼占据；用困守城池、不知变通的兵力，对抗狡猾如野猪般突袭的盗贼，必定无法保全。进退两难，该怎么办才好？”王威等人都说：“您既是皇亲又有贤德，与国家休戚与共，若等上奏朝廷再定夺，必定错过时机；关键是平定盗贼，您可以自行决断。”李渊假装不得已才同意，说：“既然如此，首先要集结兵力。”于是命令李世民与刘文静、长孙顺德、刘弘基等人各自招募士兵，远近百姓纷纷前来投奔，十天内就招募了近万人。李渊还秘密派人去河东召回李建成、李元吉，去长安召回柴绍。
王威、高君雅见兵力大量集结，怀疑李渊有二心，对武士彟说：“