杨勇的内宠很多，尤其宠幸昭训云氏。他的妃子元氏不受宠爱，患上心疾，两天后就去世了，独孤皇后怀疑另有缘故，便责备怪罪杨勇。此后云昭训独掌东宫内政，生下长宁王杨俨、平原王杨裕、安成王杨筠；高良娣生下安平王杨嶷、襄城王杨恪；王良媛生下高阳王杨该、建安王杨韶；成姬生下颍川王杨煚；后宫还生下杨孝实、杨孝范。独孤皇后对此愈发不满，常常派人暗中监视，搜罗杨勇的过错。晋王杨广则越发矫饰自己的言行，只和萧妃同住，后宫姬妾所生的孩子都不养育，皇后因此屡次称赞杨广贤德。对于掌权的大臣，杨广都尽心结交。文帝和皇后每次派遣身边的人到杨广的住处，无论来人地位高低，杨广必定和萧妃到门口迎接，为他们准备精美的饮食，还送上丰厚的礼物；往来的奴婢仆人，没有不称赞他仁厚孝顺的。文帝和皇后曾亲临杨广的府邸，杨广将所有美貌姬妾都藏到别的房间，只留下年老貌丑的，让她们穿着朴素的彩衣，在身边侍奉；屏帐改用素色的缣帛；还故意弄断乐器的琴弦，不派人拂去上面的灰尘。文帝见到这种情形，认为杨广不贪恋声色，回到宫中后，把这件事告诉了侍臣，心中十分欢喜。侍臣们都纷纷庆贺，从此文帝对杨广的宠爱远超其他儿子。
文帝暗中命令擅长相面的来和为所有皇子看相，来和回答说：“晋王眉骨上方双骨隆起，贵不可言。” 文帝又问上仪同三司韦鼎：“我的几个儿子中，谁能继承皇位？” 韦鼎回答说：“陛下和皇后最喜爱的人，就会传位给他，这不是臣敢预先知晓的。” 文帝笑着说：“你不肯明说啊！”
晋王杨广容貌俊美、仪态端庄，生性聪慧机敏，性格深沉持重；喜好学习，擅长写文章；恭敬地接待朝中官员，礼节极为谦卑；因此声名远扬，在诸王中位居第一。
杨广担任扬州总管时，入朝觐见，即将返回藩镇，入宫向皇后辞行，他伏在地上流泪，皇后也忍不住潸然泪下。杨广说：“臣生性愚钝浅薄，一直坚守兄弟间的情谊，不知犯了什么罪过，失去了东宫太子的喜爱，他常常心怀怒气，想要对我加以谋害陷害。我时常担心会像曾参那样，因流言蜚语而被怀疑，也害怕在饮食中遭遇毒杀，因此忧心忡忡、思虑重重，唯恐陷入危亡的境地。” 皇后气愤地说：“睍地伐（杨勇的小名）越来越让人忍无可忍了，我为他娶了元氏女子，他竟然不按夫妇之礼对待她。专宠阿云，生下这么多猪狗一样的孩子。先前元氏媳妇被毒害而死，我也没能彻底追查此事，他为何又对你生出这样的歹意！我尚且在世，他就这般模样，我死后，他岂不是要把你们当作鱼肉任意宰割！每次想到东宫没有嫡子，陛下百年之后，让你们兄弟向阿云的儿子行跪拜问安之礼，这该是多么让人痛心的事啊！” 杨广再次下拜，呜咽不止，皇后也悲痛得难以自已。从此皇后下定决心要废掉杨勇，改立杨广为太子。
杨广和安州总管宇文述向来交好，想要让宇文述亲近自己，便上奏朝廷任命他为寿州刺史。杨广尤其亲近信任总管司马张衡，张衡为杨广谋划了夺取太子之位的计策。杨广向宇文述询问计谋，宇文述说：“皇太子失宠已经很久了，美好的德行没有传扬于天下。大王以仁孝着称，才能盖世，屡次统领军队，立下大功；陛下和皇后，都对大王极为钟爱，天下的人心，实际上都归向大王。但废立太子是国家大事，身处他人父子骨肉之间，实在不容易谋划。然而能够改变陛下心意的人，只有杨素一人，而杨素凡事都会先和他的弟弟杨约商议，再付诸行动。我向来了解杨约，请允许我前往京师，和杨约相见，共同谋划此事。” 杨广听后大喜，拿出大量金银财宝，资助宇文述入关。
当时杨约担任大理少卿，杨素但凡有什么举动，都会先和杨约筹划，然后再执行。宇文述邀请杨约赴宴，陈列了大量珍贵的玩赏器物，和他开怀畅饮，趁机一起赌博，每次都假装输棋，把带来的金银财宝全都输给了杨约。杨约赢得的财物已经很多，便渐渐向宇文述表示感谢。宇文述于是说：“这些都是晋王赏赐的，让我拿来和您一同玩乐罢了。” 杨约十分惊讶，说：“为何要这样做？” 宇文述于是转达了杨广的心意，劝说杨约道：“坚守正道、奉行纲常，本是为人臣子的本分；但违背常规而合乎道义，也是通达之人的良策。自古以来的贤人君子，没有不顺应时势变化来躲避祸患的。您兄弟二人，功高盖世，掌权执政已经多年，朝中大臣被您家羞辱过的，难道还数得过来吗！况且皇太子因为自己的意愿不能施行，常常对掌权的大臣恨之入骨；您虽然得到陛下的信任，但想要危害您的人，本来就不在少数！陛下一旦驾崩，您又能依靠谁庇护自己呢！如今皇太子失去皇后的喜爱，陛下向来就有废黜他的想法，这是您知道的。现在若是能劝说陛下立晋王为太子，此事全在您兄长杨素的一句话。倘若能趁此时机立下大功，晋王必定会铭