杨勇大致知道了他们的谋划，忧虑恐惧，却想不出办法，就派新丰人王辅贤用邪术诅咒隋文帝和杨广；又在东宫后园建造了一个“庶人村”，房屋简陋，杨勇时常在里面居住，穿着粗布衣服，睡在草席上，希望以此来避祸。隋文帝知道杨勇内心不安，在仁寿宫时，派杨素去观察杨勇的行为。杨素到了东宫，故意在外面休息，不进去见杨勇，杨勇穿戴整齐等待他，杨素却故意长时间不进门，以此激怒杨勇；杨勇心怀怨恨，不满情绪表现在言行上。杨素返回后对隋文帝说：“杨勇心怀怨恨，恐怕会有变故，希望陛下多加防备！”隋文帝听了杨素的谗言，对杨勇更加怀疑。独孤皇后又派人暗中监视东宫，哪怕是极小的事，都会上报隋文帝，并加以歪曲，来构成杨勇的罪状。
隋文帝于是疏远猜忌杨勇，在玄武门到至德门之间设置侦察人员，监视杨勇的动静，凡事都随时上报。此外，东宫的宿卫人员，凡侍官以上的，名册都划归到各卫府管理，勇猛健壮的人都被调离东宫。又把左卫率苏孝慈调出京城，任命为淅州刺史，杨勇更加不高兴。太史令袁充对隋文帝说：“我观察天象，皇太子应当被废黜。”隋文帝说：“天象显示这种征兆已经很久了，只是群臣不敢说罢了。”袁充是袁君正的儿子。
晋王杨广又让督王府军事姑臧人段达暗中贿赂东宫受宠的臣子姬威，让他监视太子的动静，秘密报告给杨素；于是朝廷内外都在议论杨勇的过失，每天都能听到杨勇的罪状。段达趁机威胁姬威说：“东宫的过失，陛下都知道了。陛下已经下达密诏，决定废黜太子、另立他人；你如果能揭发杨勇的罪状，就能获得大富贵！”姬威答应了，立即上书揭发杨勇。
秋季九月壬子日，隋文帝从仁寿宫返回京城。第二天，隋文帝驾临大兴殿，对侍从大臣说：“我刚回到京城，本应心情愉快；不知为什么，反而忧愁烦闷！”吏部尚书牛弘回答说：“是我们这些大臣不称职，让陛下忧虑辛劳。”隋文帝已经多次听到关于杨勇的谗言，怀疑朝臣都知道这些事，所以在众人面前发问，希望听到关于杨勇的过失。牛弘的回答不符合隋文帝的心意，隋文帝于是脸色一变，对东宫的官员说：“仁寿宫离京城不远，但每次我返回京城，都要严密部署仪仗卫队，就像进入敌国一样。我最近腹泻，连衣服都不敢脱下来睡觉。昨天夜里想上厕所，因为担心后房有紧急情况，又回到前殿居住，这难道不是你们这些人想败坏我的家业吗！”于是下令将太子左庶子唐令则等人逮捕，交给有关部门审讯；命令杨素向亲近大臣陈述东宫的情况。
杨素于是公开说：“我奉陛下旨意返回京城，命令皇太子核查刘居士的残余党羽。太子接到诏令后，脸色大变、情绪激动，声色俱厉地对我说：‘刘居士的党羽已经全部伏法，让我到哪里去追查！你身为右仆射，陛下对你的托付不轻，你自己去核查吧，和我有什么关系！’又说：‘当初隋文帝夺取天下的大事如果没成功，我会先被诛杀；如今陛下做了天子，竟然让我比不上各位弟弟，任何一件事都不能自己做主！’接着长叹一声，回头看着我说：‘我真觉得自己是个累赘。’”隋文帝说：“这个儿子不能继承皇位很久了，皇后一直劝我废黜他。我因为他是我平民时生下的儿子，又位居长子，希望他能逐渐改正过错，所以隐忍到现在。杨勇曾指着皇后的侍女对别人说：‘这些都是我的东西。’这话多离谱！他的妃子刚去世时，我很怀疑是被毒害的，曾责备过他，杨勇立刻怨恨地说：‘我迟早要杀了元孝矩（元妃的父亲）。’这是想害我却把怒气发泄到别人身上啊。长宁王（杨勇长子杨俨）刚出生时，我和皇后一起抚养他，杨勇却心怀猜忌，多次派人来索要孩子。况且云定兴的女儿（云昭训），是在外面私通生下的孩子，看这来历，未必是杨勇的亲骨肉！过去晋朝太子娶了屠夫的女儿，他们的儿子就喜欢屠宰之事。如今如果太子的孩子不是亲生的，就会扰乱皇室宗族。我虽然德行比不上尧、舜，但终究不会把天下百姓交给不成器的儿子！我一直担心他会加害于我，就像防备大敌一样；现在我要废黜他，来安定天下！”
左卫大将军五原公元旻劝谏说：“废立太子是大事，诏令一旦施行，后悔就来不及了。谗言没有边际，希望陛下明察。”
隋文帝没有回应，命令姬威详细陈述太子的罪恶。姬威回答说：“太子平时和我说话，一心只想着骄奢享乐，还说：‘如果有劝谏我的人，就该杀了他，不杀一百来人，就不会有人再敢多嘴。’他修建宫殿台阁，一年四季都不停歇。之前苏孝慈被免去左卫率的职务，太子怒发冲冠、挥动手臂说：‘大丈夫总有一天，绝不会忘记这件事，一定要报仇雪恨。’另外，东宫宫内需要的物品，尚书省大多依据法令