几天后，杨素入宫侍奉文帝宴饮，委婉地称赞 “晋王孝顺友爱、恭敬节俭，和陛下十分相像”，以此试探皇后的心意。皇后哭着说：“您说得太对了！我的儿子极为孝顺懂事，每次听说陛下和我派内侍到他那里，必定会亲自到边境迎接；说起和我们分别的事，没有一次不哭的。还有他的王妃也十分令人怜爱，我派婢女去她那里，她常常和婢女同寝共食。哪里像睍地伐，和阿云对坐一起，整日沉溺于宴饮，亲近小人，猜忌离间骨肉亲情！我越发疼爱阿 {麻女}（杨广的小名），常常担心他会被太子暗中杀害。” 杨素探明了皇后的心意后，便极力诉说太子没有才能。皇后于是送给杨素金银财物，让他辅佐文帝废黜杨勇、改立杨广。
杨勇对他们的谋划颇有耳闻，心中既担忧又恐惧，却想不出应对的办法，便让新丰人王辅贤施行各种厌胜之术；又在后花园建造了 “庶人村”，里面的房屋低矮简陋，杨勇时常在里面居住休息，身披粗布衣服，睡在草褥上，希望以此来禳除灾祸。文帝知道杨勇内心不安，当时他在仁寿宫，便派杨素去观察杨勇的所作所为。杨素来到东宫，故意在外面歇息，迟迟不进去，杨勇穿戴整齐、束好衣带等候他，杨素却故意拖延很久才进门，以此激怒杨勇；杨勇心怀怨恨，并且在言语和神色上表现了出来。杨素回去后对文帝说：“杨勇心怀怨恨，恐怕会有变故，希望陛下严加防备、仔细监察！” 文帝听了杨素的谗言和诋毁，对杨勇更加怀疑。皇后又派人暗中窥探东宫，哪怕是再细微的事情，都会上报给文帝，还对这些事情加以歪曲捏造，来构陷杨勇罪名。
文帝于是疏远猜忌杨勇，便在玄武门到至德门之间，酌情设置了监视的人，来窥探杨勇的动静，所有情况都随时奏报。此外，东宫宿卫的人员，凡是侍官以上的，名册全都划归到各卫府管理，有勇健之才的人全被调离东宫。文帝又将左卫率苏孝慈外调为淅州刺史，杨勇心中越发不满。太史令袁充对文帝说：“臣观察天象，皇太子应当被废黜。” 文帝说：“天象出现这样的征兆已经很久了，只是群臣不敢说出来罢了。” 袁充是袁君正的儿子。
晋王杨广又命令督王府军事、姑臧人段达私下贿赂东宫受宠的大臣姬威，让他暗中监视太子的动静，秘密禀报给杨素；于是朝廷内外都散播着对杨勇的诽谤之言，他的过失每天都传到文帝耳中。段达趁机威胁姬威说：“东宫的过失，陛下全都知道了。朝廷已经接到密诏，必定会废黜太子、另立他人；你若是能告发太子的罪过，就能得到大富大贵！” 姬威答应了，随即上书告发杨勇。
秋季，九月壬子日，文帝从仁寿宫返回京师。第二天，文帝驾临大兴殿，对侍臣说：“我刚回到京师，本该心情舒畅、满心欢喜；却不知为何反而闷闷不乐、满心愁苦！” 吏部尚书牛弘回答说：“是臣等不称职，才让陛下忧虑操劳。” 文帝此前已经多次听到对杨勇的谗毁，怀疑朝臣们都知道了这件事，因此在众人面前发问，希望能听到关于太子的过失。牛弘的回答不合文帝的心意，文帝于是变了脸色，对东宫的官属说：“仁寿宫距离这里并不远，可我每次回到京师，都要严加戒备，布置仪仗卫队，就像进入敌国一样。我患上腹泻的疾病，连衣服都不敢脱下来睡觉。昨天夜里想要去厕所，因为担心后房会有紧急情况，便又移到前殿居住，这难道不是你们这些人想要败坏我的家国吗！” 于是下令将太子左庶子唐令则等几人逮捕，交给有关部门审讯；又命令杨素把东宫的事情陈述出来，告知身边的大臣。
杨素于是公开说道：“臣奉旨回京，命令皇太子核查刘居士的残余党羽。太子接到诏书后，脸色大变、情绪激动，怒不可遏，对臣说：‘刘居士的党羽都已经伏法了，让我到哪里去彻底追查！你身为右仆射，肩负的责任不轻，你自己去核查吧，和我有什么关系！’又说：‘当初大业未成之时，我最先会被诛杀，如今父皇做了天子，我竟然反倒比不上各位弟弟，哪怕是一件小事，都不能自行决断！’接着长叹一声，回头说：‘我实在觉得自己碍眼碍事。’” 文帝说：“这个儿子不堪继承皇位，已经很久了，皇后一直劝我废掉他。我因为他是我平民时所生，又位居长子之位，希望他能渐渐改过自新，才隐忍到今天。杨勇曾指着皇后的侍女对人说：‘这些将来都是我的人。’这话多么离谱！他的妃子刚去世时，我十分怀疑她是被毒害的，曾经责备过他，杨勇当即怨恨地说：‘我定会杀了元孝矩（元妃的父亲）。’这是想要害我，却把怒气迁到别人身上罢了。长宁王杨俨刚出生