杨玄感驻扎在上春门，每次誓师都说：“我身为上柱国，家中积蓄万金，说到富贵，已别无所求。如今不顾灭族之祸起兵，只是为了解救天下百姓于倒悬之急罢了！”众人都很高兴。父老争相进献牛酒，子弟到军门请求效力的，每天数以千计。
内史舍人韦福嗣，是韦洸哥哥的儿子，随军出战抵抗杨玄感。被杨玄感俘获；杨玄感以厚礼相待，让他与同党胡师耽共同掌管文书。杨玄感让韦福嗣写信给樊子盖，列举炀帝的罪恶，说：“如今想要废掉昏君另立明主，希望你不要拘泥于小节，自招忧患。”樊子盖刚从外藩调入朝廷担任京官，东都的旧官员多怠慢他，至于部署军事，不太听从他的命令。裴弘策与樊子盖是同班官员，此前出兵讨贼失利，樊子盖再次派他出战，他不肯去，樊子盖命令拉出去斩首示众。国子祭酒河东人杨汪，稍有不恭敬，樊子盖又要杀他；杨汪叩头流血，才得以免死。于是将领官吏震惊肃然，没有人敢仰视他，做到了令行禁止。杨玄感用全部精锐攻城，樊子盖依据形势抵抗守卫，杨玄感不能攻克。然而达官子弟应募从军的，听说裴弘策被杀，都不敢进城。韩擒虎的儿子韩世咢、观王杨雄的儿子杨恭道、虞世基的儿子虞柔、来护儿的儿子来渊、裴蕴的儿子裴爽、大理卿郑善果的儿子郑俨、周罗睺的儿子周仲等四十多人都投降了杨玄感，杨玄感把亲近重要的职务都委任给他们。郑善果是郑译哥哥的儿子。
杨玄感收兵得到五万多人，分派五千人把守慈磵道，五千人把守伊阙道，派韩世咢率领三千人包围荥阳，顾觉率领五千人攻取虎牢关。虎牢关投降，任命顾觉为郑州刺史，镇守虎牢。
代王杨侑派刑部尚书卫文升率兵四万救援东都，卫文升到达华阴，掘开杨素的坟墓，焚烧他的尸骨，向士卒表示必死的决心，于是击鼓行军出崤山、渑池，直趋东都城北。杨玄感迎击；卫文升边战边行，驻扎在金谷。
辽东城久攻不下，炀帝命令制作布袋一百多万个，装满土，想堆积成一条鱼梁大道，宽三十步，高与城墙齐平，让战士登上去攻城。又制作八轮楼车，高出城墙，夹在鱼梁道两旁，想从上面俯射城内，定下日期将要进攻，城内形势危急。适逢杨玄感造反的书信送到，炀帝大为恐惧，带纳言苏威进入帐中，对他说：“这个孩子（杨玄感）聪明，该不会成为祸患吧？”苏威说：“能够明辨是非，审察成败，才叫做聪明，杨玄感粗疏，必定不必忧虑。只怕因此逐渐酿成祸乱的阶梯罢了。”炀帝又听说达官子弟都在杨玄感那里，更加忧虑。兵部侍郎斛斯政一向与杨玄感交好，杨玄感造反，斛斯政与他通谋，杨玄纵兄弟逃亡回来，斛斯政暗中放行。炀帝将要彻底追究杨玄纵等人的党羽，斛斯政内心不安，戊辰日，逃亡投奔高句丽。庚午日，夜里二更时分，炀帝秘密召集众将领，让他们率军返回，军用物资、器械、攻城器具，堆积如山，营垒、帐幕、居处都原封不动，全部丢弃撤离。众人心中恐惧惊慌，不再有队形编制，各路军队分散撤退。高句丽当即察觉，但不敢出击，只是在城内击鼓呐喊。到了第二天午时，才逐渐出城，向四方远处侦察，还怀疑隋军是诈退。过了两天，才派出数千士兵追踪，畏惧隋军人多，不敢逼近，常常相距八九十里，快到辽水时，得知炀帝御营已全部渡河，才敢逼近隋军后军。当时后军还有数万人，高句丽军随后袭击，最后面的数千名老弱士兵被杀或被俘。
当初，炀帝再次征讨高句丽时，又问太史令庚质：“这次怎么样？”庚质回答说：“臣实在愚昧，仍然坚持以前的看法，陛下如果亲自出动万乘之尊，劳民伤财实在太多。”炀帝发怒说：“我亲自去尚且不能成功，只派别人去，怎能成功！”等到返回后，对庚质说：“你以前不想让我去，应当就是为了这个（杨玄感造反）吧。杨玄感能成功吗？”庚质说：“杨玄感地位权势虽然高，但一向不得人心，他是想利用百姓的劳苦，希望侥幸成功。如今天下一统，不容易动摇。”
炀帝派虎贲郎将陈棱到黎阳攻击元务本，又派左翊卫大将军宇文述、左候卫将军屈突通乘驿车发兵讨伐杨玄感。来护儿到达东莱，听说杨玄感包围东都，召集众将领商议回军救援。众将领都认为没有诏令，不宜擅自返回，坚持不同意。来护儿厉声说：“洛阳被围，是心腹大患；高句丽违抗命令，不过是疥癣之疾。国家的事情，知道了就没有不做的，专擅之责在我，与各位无关，有敢阻挠提议的，军法从事！”当天就回军。让儿子来弘、来整乘驿马飞驰奏报。炀帝当时已回到涿郡，已经敕令来护儿救援东都，见到来弘、来整，非常高兴，赐给来护儿玺书说：“你回军的时候，正是我敕令你的时候，君臣心意相合，远隔千里如同符契相合。”
在此之前，右武候大将军李子雄因事获罪被除名，命令他从军效力，跟随来护儿在东莱，炀帝怀疑他，下诏将他锁拿送到行宫。李子雄杀死使者，逃奔杨玄感。卫文升率领步兵骑兵两万渡过瀍水，与杨玄感交战，杨玄感屡次击败他。杨玄感每次作战，都身先士卒，所向披靡，又善于安抚取悦