杨素依仗功劳骄横傲慢，在朝会宴席上，有时失掉臣子的礼节。炀帝心中怀恨而不说，杨素也察觉到了。等到杨素去世，炀帝对近臣说：“假如杨素不死，最终会被灭族。”杨玄感很清楚这一点，而且自己因为世代显贵，在朝的文武官员多是其父杨素的旧吏，看到朝政日益紊乱，而炀帝又多有猜忌，内心不安，于是与弟弟们暗中谋划造反。炀帝正忙于征伐之事，杨玄感主动说：“我家世代蒙受国恩，我愿意担任将领。”炀帝高兴地说：“将门必出将，相门必出相，果然不假啊！”从此对他的恩宠礼遇日益隆重，他颇能参与朝政。
炀帝讨伐高句丽，命令杨玄感在黎阳督运粮草，杨玄感于是与虎贲郎将王仲伯、汲郡赞治赵怀义等人密谋，故意拖延漕运，不按时进发，想使渡过辽水的各路隋军缺粮；炀帝派使者催促，杨玄感扬言水路盗贼多，不能先后发运。杨玄感的弟弟虎贲郎将杨玄纵、鹰扬郎将杨万石，都随从炀帝在辽东，杨玄感暗中派人召他们回来，二人都逃亡返回。杨万石走到高阳，被监事许华抓获，在涿郡处斩。
当时右骁卫大将军来护儿率领水军从东莱将要入海奔赴平壤，杨玄感派家奴伪装成使者从东方来，谎称来护儿造反。六月，乙巳日，杨玄感进入黎阳城，关闭城门，大规模征召男丁，用帆布制作头盔、铠甲，设置官属，都依照开皇年间的旧制。向邻近各郡发送文书，以讨伐来护儿为名，命令各郡发兵到粮仓所在地会合。郡县官吏中有才干的人，杨玄感都以运粮为名召集他们，任命赵怀义为卫州刺史，东光县尉元务本为黎州刺史，河内郡主簿唐祎为怀州刺史。
治书侍御史游元，在黎阳督运粮草，杨玄感对他说：“独夫（指炀帝）肆虐，使自己陷于绝远之地，这是上天要灭亡他的时候。我现在亲自率领义兵诛杀无道之君，您意下如何？”游元严肃地说：“您的父亲承受国家的恩宠荣耀，近古以来无人能比。你们兄弟几人，高官厚禄交相辉映，理当竭尽忠诚节操报答大恩。怎料坟土未干，就亲图反叛！我只有一死而已，不敢听从命令！”杨玄感发怒囚禁了他，多次用兵器威胁，不能使他屈服，于是杀了他。游元是游明根的孙子。
杨玄感挑选运粮民夫中年轻力壮的得到五千多人，丹杨、宣城的船夫三千多人，宰杀三牲（牛、羊、猪）誓师，并且告谕他们说：“主上无道，不把百姓放在心上，天下骚扰不安，死在辽东的数以万计。如今我与诸位起兵，来拯救百姓的困苦，怎么样？”众人都欢呼雀跃高呼万岁。于是部署军队。唐祎从杨玄感处逃回河内郡。
在此之前，杨玄感暗中派家僮到长安，召李密及弟弟杨玄挺到黎阳。等到起兵时，李密正好赶到，杨玄感大喜，以他为谋主，对李密说：“你常以济世安民为己任，现在正是时候了！计策该如何？”李密说：“天子出征，远在辽东之外，距离幽州还隔着千里。南面是浩瀚的大海，北面有强大的胡人，中间只有一条道路，按理极其艰险危急。您拥兵出其不意，长驱直入蓟城，占据临渝关的险要，扼住他的咽喉。归路既已断绝，高句丽听说后，必定紧随其后。不出十天半月，隋军的物资粮草都将耗尽，其部众不投降就会溃散，可以不战而擒获炀帝，这是上策。”杨玄感说：“再说说其次的。”李密说：“关中四面险塞，是天府之国，虽有卫文升留守，不足为虑。如今率军击鼓西进，经过城池不攻打，直取长安。收罗那里的豪杰，抚慰那里的士民，据守险要。天子即使返回，也失去了根本，可以慢慢图谋。”杨玄感说：“再说说更次的。”李密说：“挑选精锐，昼夜兼程，袭取东都，以此号令四方。但恐怕唐祎已报告消息，东都已事先固守。如果率军攻打，一百天不能攻克，天下的军队从四面赶来，其结果就不是我能预料的了。”杨玄感说：“不对，如今百官的家眷都在东都，如果先攻取东都，足以动摇他们的军心。况且经过城池不攻取，怎么显示军威！你的下策，才是上策啊。”于是率军向洛阳进发，派杨玄挺率领骁勇一千人为前锋，先攻取河内郡。唐祎据城抵抗守卫，杨玄挺一无所获。
唐祎又派人报告东都越王杨侗与樊子盖等人整兵防备，修武县的百姓也互相带领守卫临清关。杨玄感无法通过，于是在汲郡南边渡过黄河，跟随他的人多如赶集。派弟弟杨积善率兵三千从偃师向南沿洛水西进，杨玄挺从白司马坂越过邙山向南进发，杨玄感自己率领三千多人跟随在后，相距十里左右，自称大军。他的士兵都拿着单刀和柳木盾牌，没有弓箭铠甲。东都派遣河南县令达奚善意率领精兵五千人抵抗杨积善，将作监、河南赞治裴弘策率领八千人抵抗杨玄挺。达奚善意渡过洛水到南岸，在汉王寺扎营；第二天，杨积善的军队到达，达奚善意的军队不战自溃，铠甲兵器都被杨积善缴获。裴弘策出兵到白司马坂，一交战，就败逃，丢弃铠甲兵器的超过一半，杨玄挺也不追击。裴弘策退后三四里，收集散兵，重新列阵等待；杨玄挺慢慢到来，坐下休息了很久，忽然起身攻击，裴弘策又败，像这样交战了五次。丙辰日，杨玄挺直抵太阳门，裴弘策带着部下十多名