杨素依仗功劳傲慢自大，在朝廷宴会时，有时会有失臣子礼仪。隋炀帝心里怀恨却不表露，杨素也察觉到了。等到杨素去世，隋炀帝对身边大臣说：“要是杨素没死，最终一定会被灭族。”杨玄感很清楚这件事，而且他自认为家族世代显贵，朝中文武大臣大多是他父亲的旧部下，看到朝政日益混乱，且隋炀帝猜忌心重，内心感到不安，就和几个弟弟暗中谋划叛乱。当时隋炀帝正忙于征伐高丽，杨玄感主动请求：“我家世代蒙受国恩，希望能担任将领出征。”隋炀帝高兴地说：“将门一定出将军，相门一定出宰相，果然不假！”从此对杨玄感更加宠信，让他多参与朝政。
隋炀帝征伐高丽时，命令杨玄感在黎阳督运粮草。杨玄感于是和虎贲郎将王仲伯、汲郡赞治赵怀义等人谋划，故意拖延漕运，不按时发运粮草，想让渡过辽河的各路隋军缺粮；隋炀帝派使者催促，杨玄感就谎称水路有很多盗贼，不能前后连续运粮。杨玄感的弟弟虎贲郎将杨玄纵、鹰扬郎将杨万石，都跟随隋炀帝在辽东，杨玄感暗中派人召他们回来，两人都逃了回来。杨万石逃到高阳时，被监事许华抓获，在涿郡斩首。
当时右骁卫大将军来护儿率领水军从东莱将要入海进军平壤，杨玄感派家奴伪装成从东方来的使者，谎称来护儿谋反。六月乙巳日，杨玄感进入黎阳，关闭城门，大肆征发成年男子，用帆布制作头盔铠甲，设置官署僚属，全都依照隋文帝开皇年间的制度。他向附近各郡发送文书，以讨伐来护儿为名，命令各郡发兵到黎阳粮仓集合。郡县中能干的官员，杨玄感都以运粮为由把他们召集过来，任命赵怀义为卫州刺史，东光县尉元务本为黎州刺史，河内郡主簿唐祎为怀州刺史。
治书侍御史游元在黎阳督运粮草，杨玄感对他说：“暴君肆虐，身陷边远地区，这是上天要灭亡他的时候。我现在亲自率领义兵诛杀无道君主，您意下如何？”游元严肃地说：“您父亲蒙受国家恩宠，近代以来无人能比。您和弟弟们都身居高位，本应竭尽忠诚气节报答朝廷大恩。没想到您父亲的坟墓还没干，您就亲自谋划叛乱！我只有一死，绝不敢听从您的命令！”杨玄感发怒，把他囚禁起来，多次用兵器威胁，却不能让他屈服，最终杀死了他。游元是游明根的孙子。
杨玄感从运粮民夫中挑选年轻力壮者五千多人，又挑选丹杨、宣城的船夫三千多人，杀牛、羊、猪三牲誓师，并且对众人宣告：“皇上无道，不把百姓放在心上，天下动荡不安，死在辽东的人数以万计。现在我和各位起兵，来解救百姓的危难，怎么样？”众人都踊跃欢呼万岁。于是杨玄感部署军队，分配任务。唐祎从杨玄感那里逃回河内郡。
在此之前，杨玄感暗中派家僮到长安，召李密和弟弟杨玄挺前往黎阳。等到起兵时，李密恰好赶到，杨玄感非常高兴，把他当作主要谋士，对李密说：“您一直以拯救天下为己任，现在时机到了！您有什么计策？”李密说：“天子出征，远在辽东之外，距离幽州还有千里之遥。南边有大海，北边有强大的突厥，中间只有一条通道，形势本就极其艰险。您率领军队出其不意，长驱直入蓟城，占据临渝关的险要地势，扼住隋军的咽喉。隋军退路被切断，高丽人得知后，一定会从背后追击。不出一个月，隋军粮草就会耗尽，他们要么投降，要么溃散，不用打仗就能擒获隋炀帝，这是上策。”杨玄感说：“再说说中策。”李密说：“关中地区四面有险要屏障，是物产丰饶的天府之国，虽然有卫文升防守，但不值得担心。现在您率领军队大张旗鼓向西进军，路过城池不攻打，直接夺取长安。收纳当地豪杰，安抚百姓，占据险要地势防守。天子即使回来，也失去了根本之地，我们可以慢慢谋划夺取天下。”杨玄感说：“再说说下策。”李密说：“挑选精锐士兵，日夜兼程，袭击夺取东都洛阳，用洛阳的名义号令天下。但恐怕唐祎已经把我们的计划报告给洛阳，洛阳会提前固守。如果领兵攻打洛阳，一百天不能攻克，天下的军队从四面八方赶来，后果就不是我能预料的了。”杨玄感说：“不对，现在朝中百官的家眷都在东都，要是先夺取洛阳，足以动摇他们的军心。而且路过城池却不攻克，怎么能显示我们的威力！您说的下策，其实是上策。”于是率领军队向洛阳进军，派杨玄挺率领一千精锐作为前锋，先夺取河内郡。唐祎据城抵抗，杨玄挺没能攻克。
唐祎又派人告诉东都的越王杨侗和樊子盖等人，让他们领兵防备，修武县百姓也纷纷聚集起来防守临清关。杨玄感无法通过，就在汲郡南边渡过黄河，跟随他的人多得像集市上的人一样。他派弟弟杨积善率领三千士兵从偃师南边沿着洛水向西进军，杨玄挺从白司马坂翻过邙山向南进军，杨玄感亲自率领三千多人跟随在后面，三路军队相距约十里，对外宣称是大军。他的士兵都只拿着单刀和柳木盾牌，没有弓箭铠甲。东都方面派河南县令达奚善意率领五千精锐士兵抵抗杨