杨玄感在上春门驻扎，每次誓师都对众人说：“我身为上柱国，家中财产数以万计，要说富贵，我已经没什么可追求的了。现在我不顾灭族之祸起兵，只是为了天下百姓解除水深火热的危难！”众人都很感动。父老乡亲争相献上牛和酒，年轻人到军营门口请求参军的，每天有上千人。
内史舍人韦福嗣是韦洸的侄子，随军出兵抵抗杨玄感，被杨玄感抓获；杨玄感对他礼遇优厚，让他和自己的亲信胡师耽一起掌管文书。杨玄感让韦福嗣写信给樊子盖，列举隋炀帝的罪恶，信中说：“现在我打算废掉昏君、拥立明君，希望您不要拘泥于小节，以免自取灾祸。”樊子盖刚从地方调到京城任职，东都的旧官员大多轻视他，以至于在部署军事时，官员们大多不服从命令。裴弘策和樊子盖官职同级，之前出兵讨伐贼寇失利，樊子盖又让他出兵，他不肯去，樊子盖下令把他拉出去斩首示众。国子祭酒河东人杨汪，只是稍微有些不恭敬，樊子盖也准备杀他；杨汪磕头磕得头破血流，才得以幸免。从此将领官吏都震惊敬畏，没人敢抬头看樊子盖，他的命令都能顺利执行。杨玄感出动全部精锐攻城，樊子盖根据情况灵活防守，杨玄感无法攻克。但达官贵族的子弟们响应招募参军的，听说裴弘策被处死，都不敢进城。韩擒虎的儿子韩世咢、观王杨雄的儿子杨恭道、虞世基的儿子虞柔、来护儿的儿子来渊、裴蕴的儿子裴爽、大理卿郑善果的儿子郑俨、周罗睺的儿子周仲等四十多人，都投降了杨玄感，杨玄感把亲信要职都交给他们。郑善果是郑译的侄子。
杨玄感收拢兵力达到五万多人，派遣五千人防守慈磵道，五千人防守伊阙道，派韩世咢率领三千人包围荥阳，顾觉率领五千人夺取虎牢关。虎牢关守军投降，杨玄感任命顾觉为郑州刺史，镇守虎牢关。
代王杨侑派刑部尚书卫文升率领四万军队救援东都，卫文升到了华阴，挖掘杨素的坟墓，焚烧他的尸骨，以此向士兵表示必死的决心，然后大张旗鼓地从崤山、渑池出兵，直逼东都城北。杨玄感领兵迎击；卫文升边打边进，在金谷驻扎。
辽东城久攻不下，隋炀帝派人制造一百多万个布袋，装满泥土，打算堆积成一条宽三十步、和城墙一样高的“鱼梁大道”，让士兵登上大道攻城。又制造八轮楼车，高度超过城墙，排列在鱼梁大道两侧，想从楼车上向下射杀城内守军，约定日期发起总攻，城内高丽军处境危急。恰逢杨玄感谋反的文书送到，隋炀帝非常害怕，召纳言苏威进帐，对他说：“这小子很聪明，会不会成为祸患？”苏威说：“能分辨是非、判断成败，才算聪明，杨玄感为人粗疏，肯定成不了大气候。但恐怕会因此逐渐引发叛乱的苗头。”隋炀帝又听说达官贵族的子弟都在杨玄感那里，更加担忧。兵部侍郎斛斯政一向和杨玄感关系很好，杨玄感谋反，斛斯政参与了谋划，杨玄纵兄弟逃回，就是斛斯政暗中安排的。隋炀帝打算彻底追查杨玄纵等人的同党，斛斯政内心不安，戊辰日，逃奔高丽。庚午日，夜里二更时分，隋炀帝秘密召集众将，命令他们率军撤退，军中的物资、器械、攻城器具堆积如山，营垒、帐篷都保持原样，全部丢弃后撤离。士兵们人心惶惶，不再有秩序，各路军队四散分开。高丽军很快就发现了隋军撤退，但不敢追击，只是在城内击鼓呐喊。到第二天午时，才逐渐派兵出城，到远处侦察，还怀疑隋军是诈退。过了两天，才派出几千士兵追击，又害怕隋军人数众多，不敢靠近，一直保持八九十里的距离，等到隋军快要渡过辽河时，知道隋炀帝的御营已经全部渡过，才敢逼近隋军后军。当时隋军后军还有数万人，高丽军趁机追击抢掠，最后面几千名老弱士兵被杀死掳走。
起初，隋炀帝再次征讨高丽时，又问太史令庾质：“这次出征情况会怎样？”庾质回答：“臣实在愚昧，还是坚持之前的看法，陛下若亲自率军出征，耗费的人力财力实在太多。”隋炀帝发怒说：“我亲自去都打不赢，只派别人去，怎么可能成功！”等到隋炀帝撤军回来，又对庾质说：“你之前不想让我出征，就是料到会有今天这种情况吧。杨玄感能成功吗？”庾质说：“杨玄感虽然地位显赫，但向来不得民心，他只是趁着百姓疲惫，希望侥幸成功。如今天下统一，不是轻易能动摇的。”
隋炀帝派虎贲郎将陈棱到黎阳进攻元务本，又派左翊卫大将军宇文述、左候卫将军屈突通乘坐驿车火速发兵讨伐杨玄感。来护儿抵达东莱后，听说杨玄感围攻东都，召集众将商议撤军回救东都。众将都认为没有皇帝的诏令，不应擅自撤军，坚决不