过了几天，有关部门迎合杨素的心意，上奏说元旻常常曲意侍奉杨勇，心怀依附，在仁寿宫时，杨勇派亲信裴弘送信给元旻，信上写着“不要让人看见”。隋文帝说：“我在仁寿宫时，哪怕是极小的事，东宫都必定知道，比驿马传信还快，我早就觉得奇怪，难道不就是这些人在传递消息吗！”于是派武士在仪仗卫队中逮捕了元旻。右卫大将军元胄当时本该下班，却没有离开，趁机上奏说：“我刚才没下班，就是为了防备元旻。”隋文帝把元旻和裴弘关进监狱。
此前，杨勇看到一棵枯老的槐树，问：“这棵树能用来做什么？”有人回答说：“古槐最适合取火。”当时卫士都佩戴火燧（取火工具），杨勇就命令工匠制作了几千个火燧，想分赐给身边的人；到这时，这些火燧在仓库里被查获。又在药藏局查获了几斛艾草，隋文帝对此感到很奇怪，问姬威，姬威说：“太子的用意另有图谋，陛下在仁寿宫时，太子常饲养一千匹马，还说：‘直接去守住城门，陛下自然会饿死。’”杨素用姬威的话质问杨勇，杨勇不服，说：“我听说公家有几万匹马，我身为太子，养一千匹马，难道就是谋反吗！”杨素又拿出东宫装饰华丽的服饰玩物，全部陈列在庭院中，展示给文武百官看，作为太子的罪证。隋文帝和独孤皇后又多次派使者责备杨勇，杨勇仍不服气。
冬季十月乙丑日，隋文帝派人召见杨勇，杨勇见到使者，惊慌地说：“难道是要杀我吗？”隋文帝穿着军装，陈列士兵，驾临武德殿，召集百官站在殿东，宗室亲属站在殿西，把杨勇和他的儿子们带到殿庭中，命令内史侍郎薛道衡宣读诏令，废黜杨勇和他的儿子们的王、公主爵位，全部贬为平民。杨勇跪拜两次说：“我本该被处死在街市上，作为后人的警示；幸好承蒙陛下怜悯，保住性命！”说完，泪流满面，接着行礼后离开，左右侍从无不沉默同情。长宁王杨俨上表请求担任宫廷宿卫，言辞恳切哀伤；隋文帝看后很怜悯他。杨素进言说：“希望陛下像对有毒的手一样果断，不要对他再留情意。”
己巳日，隋文帝下诏：“元旻、唐令则以及太子家令邹文腾、左卫率司马夏侯福、典膳监元淹、前吏部侍郎萧子宝、前主玺下士何竦，全部处死，他们的妻妾子孙都没入官府为奴。车骑将军榆林人阎毗、东郡公崔君绰、游骑尉沈福宝、瀛州术士章仇太翼，特别赦免死罪，各打一百杖，本人、妻子儿女以及财产田宅都没入官府。副作大匠高龙叉、率更令晋文建、通直散骑侍郎元衡，全部处死。”于是召集百官到广阳门外，宣读诏令处决这些人。又把杨勇转移到内史省囚禁，供给五品官的饮食。赏赐杨素三千段布帛，赏赐元胄、杨约各一千段布帛，表彰他们审理杨勇案件的功劳。
文林郎杨孝政上书劝谏说：“皇太子是被小人误导，应当加以教诲，不应废黜。”隋文帝大怒，用鞭子抽打他的胸部。
起初，云昭训的父亲云定兴，随意出入东宫，多次进献奇装异服和新奇器物来讨好杨勇；左庶子裴政多次劝谏，杨勇不听。裴政对云定兴说：“您的行为不符合法度。另外，元妃突然去世，外面议论纷纷，这对太子的名声很不利。您应当主动引退，否则将会遭遇灾祸。”云定兴把这话告诉了杨勇，杨勇更加疏远裴政，后来裴政被调出京城，担任襄州总管。唐令则被杨勇亲近，杨勇常常让他弹琴唱歌，教东宫宫女演奏，右庶子刘行本责备他说：“庶子应当用正道辅佐太子，怎么能在后宫中讨好太子呢！”唐令则很惭愧，却没有改正。当时沛国人刘臻、平原人明克让、魏郡人陆爽，都因擅长文学而被杨勇亲近；刘行本对他们不能纠正太子的过错感到愤怒，常常对三人说：“你们只知道读书罢了！”夏侯福曾在东宫阁内和杨勇嬉戏，夏侯福放声大笑，声音传到外面。刘行本听到后，等夏侯福出来，斥责他说：“殿下宽容，才给你面子。你是什么小人，敢如此轻慢！”于是把他交给执法官员治罪。几天后，杨勇为夏侯福求情，才释放了他。杨勇曾得到一匹好马，想让刘行本骑马观赏，刘行本严肃地说：“陛下任命我为庶子，是想让我辅佐殿下，不是让我做殿下的玩物。”杨勇惭愧地放弃了。等到杨勇被废黜时，裴政、刘行本已经去世，隋文帝叹息说：“如果裴政、刘行本还在，杨勇不至于落到这个地步。”
杨勇曾设宴款待东宫官员，唐令则亲自弹琵琶，演唱《娬媚娘》。太子洗马李纲起身对杨勇说：“唐令则身为东宫官员，职责是辅佐太子走正道，却在大庭广众之下把自己当作歌妓，演唱淫靡之曲，污染视听。如果这