当时江都的粮食已经耗尽，跟随隋炀帝的骁果军大多是关中人，长期客居他乡，思念家乡，看到隋炀帝没有返回西方的意思，很多人谋划反叛逃回关中。郎将窦贤于是率领部下向西逃跑，隋炀帝派骑兵追上并斩杀了他，但逃亡的人还是不断，隋炀帝对此很担忧。虎贲郎将、扶风人司马德戡一向受到隋炀帝的宠信，隋炀帝派他率领骁果军驻守东城，司马德戡和交好的虎贲郎将元礼、直阁裴虔通谋划说：“现在骁果军人人都想逃跑，我要是报告这件事，恐怕会先被处死；不报告，以后事情败露，也免不了被灭族，怎么办？而且听说关内已经沦陷，李孝常占据华阴反叛，皇上囚禁了他的两个弟弟，准备杀掉他们。我们的家属都在关中，能不担心吗？”元礼和裴虔通都很害怕，说：“那我们该怎么办呢？”司马德戡说：“骁果军要是逃跑，不如我们和他们一起逃走。”两人都说：“好！”于是他们辗转拉拢他人，内史舍人元敏、虎牙郎将赵行枢、鹰扬郎将孟秉、符玺郎李覆、牛方裕、直长许弘仁、薛世良、城门郎唐奉义、医正张恺、勋士杨士览等人都参与了谋划，他们日夜相互联络约定，在大庭广众之下公开谈论反叛的计划，毫无顾忌。有宫女告诉萧皇后说：“外面人人都想反叛。”萧皇后说：“任凭你去报告皇上吧。”宫女把这件事告诉了隋炀帝，隋炀帝大怒，认为这不是宫女该说的话，把她杀了。后来又有宫女告诉萧皇后，萧皇后说：“天下的事情已经到了这个地步，无法挽救了，还说它干什么！只会让皇上忧虑罢了！”从此再也没有人敢说这件事。
赵行枢和将作少监宇文智及一向关系很好，杨士览是宇文智及的外甥，两人把反叛的谋划告诉了宇文智及，宇文智及非常高兴。司马德戡等人约定在三月十五日结伙向西逃跑，宇文智及说：“皇上虽然无道，但威严和命令还能施行，你们逃跑，就像窦贤那样白白送死。现在上天确实要灭亡隋朝，英雄豪杰纷纷起兵，同心反叛的人已经有几万，趁机干一番大事业，这是帝王的基业啊。”司马德戡等人认为他说得对。赵行枢、薛世良请求推举宇文智及的哥哥、右屯卫将军、许公宇文化及为首领，约定好之后，才告诉宇文化及。宇文化及性格怯懦，听到这件事，脸色大变，浑身冒汗，但最终还是同意了。
司马德戡派许弘仁、张恺进入备身府，告诉认识的人说：“陛下听说骁果军想反叛，准备了很多毒酒，想趁着宴会，把骁果军全都毒死，只和南方人留在这里。”骁果军士兵都很害怕，相互转告，反叛的计划更加急迫。三月初十，司马德戡召集所有骁果军的军官，告诉他们要做的事，军官们都说：“听从将军的命令！”当天，刮起大风，尘土弥漫，白天像黄昏一样昏暗。下午，司马德戡偷出皇宫马厩里的马，偷偷磨利兵器。当天晚上，元礼、裴虔通在宫殿门外值班，专门负责宫殿内的守卫；唐奉义负责关闭城门，和裴虔通互通消息，各城门都没有上锁。到了三更时分，司马德戡在东城聚集了几万士兵，点火和城外的人呼应。隋炀帝看到火光，又听到外面喧闹，问发生了什么事。裴虔通回答说：“草料场失火，外面的人在一起救火罢了。”当时宫内外已经隔绝，隋炀帝相信了他的话。宇文智及和孟秉在城外聚集了一千多人，劫持了候卫虎贲冯普乐，让他部署士兵分头把守街道。燕王杨倓察觉到有变故，夜里从芳林门旁边的水洞钻进去，到达玄武门，谎称上奏说：“我突然中风，生命垂危，请允许我当面和陛下告别。”裴虔通等人不替他通报，把他抓起来囚禁了。三月十一日，天还没亮，司马德戡交给裴虔通士兵，让他替换各城门的守卫。裴虔通从城门率领几百名骑兵到达成象殿，宫中的守卫士兵大声呼喊“有贼”；裴虔通于是退回，关闭了各城门，只打开东门，驱赶宫殿内的守卫士兵让他们出去，守卫士兵都放下兵器逃跑了。右屯卫将军独孤盛对裴虔通说：“这是哪里来的军队，形势太反常了！”裴虔通说：“事态已经这样了，和将军无关；将军请不要乱动！”独孤盛大骂说：“老贼，你说的是什么话！”来不及穿上铠甲，就和身边十几个人抵抗，被乱兵杀死。独孤盛是独孤楷的弟弟。千牛卫独孤开远率领宫殿内的几百名士兵赶到玄武门，敲着宫门请求说：“兵器都还完好，还能打败贼兵。陛下如果出来亲自指挥作战，人心自然安定；不然的话，灾祸现在就要来了！”最终没有得到回应，士兵们渐渐散去。贼兵抓住独孤开远，因为敬佩他的忠义而释放了他。在此之前，隋炀帝挑选了几百名勇猛健壮的官奴，安置在玄武门，称为“给使”，用来防备意外情况，待遇十分优厚，甚至把宫女赏赐给他们。司宫魏氏受到隋炀帝的信任，宇文化及等人拉拢她做内应。当天，魏氏假传圣旨，让所有给使都出宫去，紧急关头，没有一个给使在宫中。
司马德戡等人率军从玄武门进入皇宫，隋炀帝听到叛乱的消息，换了衣服逃到西阁。裴虔通和元礼进军推开左阁门，魏氏打开门，于是他们进入永巷，问：“陛下在哪里？”有个美女走出来，指了指隋炀帝藏身的地方。校尉令狐行达拔刀径直上前，隋炀帝隔着窗扇对令狐行达说：“你想杀我吗