隋文帝秘密让善于相面的来和为所有儿子相面，来和回答说：“晋王眉毛上方有双骨隆起，富贵不可言。”隋文帝又问上仪同三司韦鼎：“我的几个儿子中，谁能继承皇位？”韦鼎回答说：“陛下和皇后最喜爱的儿子，就会把皇位传给谁，不是我敢预知的。”隋文帝笑着说：“你不肯明说啊！”
晋王杨广容貌俊美，举止优雅，生性聪慧机敏，性格深沉庄重；喜好学习，擅长写文章；对待朝臣恭敬有礼，态度极为谦卑；因此名声很大，超过了其他王子。
杨广担任扬州总管时，入朝觐见，即将返回扬州，入宫向独孤皇后辞行，跪在地上流泪，独孤皇后也伤心落泪。杨广说：“我生性愚笨，一直坚守兄弟间的情谊，不知道犯了什么过错，失去了太子的喜爱，他常常心怀怨恨，想要陷害我。我时常担心会像曾参那样，因别人的谗言而被怀疑，也担心会在饮食中被人下毒，因此常常忧虑不安，害怕遭遇危险。”独孤皇后愤怒地说：“杨勇这个小子，越来越让人无法忍受！我为他娶了元氏女，他竟然不以夫妇之礼对待她，专宠云昭训，生下这么多猪狗不如的孩子。之前元氏女被毒害而死，我也没能彻底查清原因，他为什么又对你有这样的想法！我还在世，他就敢这样，我死后，他一定会把你们当作鱼肉来宰割！每次想到东宫没有嫡子，等陛下百年之后，你们兄弟还要向云昭训的儿子跪拜问安，这该是多么痛苦的事啊！”杨广再次跪拜，呜咽不止，独孤皇后也悲痛不已。从此，独孤皇后下定决心要废黜杨勇，立杨广为太子。
杨广和安州总管宇文述一向关系很好，想让宇文述靠近自己，就上奏请求任命他为寿州刺史。杨广尤其亲近信任总管司马张衡，张衡为杨广谋划夺取太子之位的策略。杨广向宇文述询问计策，宇文述说：“皇太子失去陛下和皇后的宠爱已经很久了，天下人也没听说他有什么美德。大王您以仁孝着称，才能盖世，多次率军出征，立下大功；陛下和皇后都钟爱您，天下人也都希望您能继承皇位。但废立太子是国家大事，涉及父子骨肉关系，实在不容易谋划。不过，能改变陛下心意的人，只有杨素，而杨素只和他的弟弟杨约商议大事。我向来了解杨约，请允许我入朝，与杨约见面，共同谋划此事。”杨广非常高兴，赠送了很多金银财宝，资助宇文述入关。
当时杨约担任大理少卿，杨素无论做什么事，都先和杨约商议后再行动。宇文述邀请杨约，摆出大量珍贵的器物古玩，和他畅饮，趁机一起赌博，每次都故意输给他，把带来的金银财宝全部输给了杨约。杨约得到很多财物，逐渐向宇文述表示感谢。宇文述趁机说：“这些都是晋王赏赐的，让我和您一起玩乐罢了。”杨约大惊说：“为什么要这样？”宇文述于是转达了杨广的意思，劝说道：“坚守正道，固然是臣子的本分；但违背常规而合乎道义，也是明智之人的良策。自古以来，贤人君子没有不顺应时势变化来躲避灾祸的。您和杨素兄弟，功劳名声盖世，掌权多年，被您家侮辱过的朝臣，数不胜数！而且，皇太子因自己的意愿不能实现，常常对执政大臣恨之入骨；您虽然得到陛下的信任，但想要危害您的人也很多！一旦陛下去世，您又能依靠谁呢？如今皇太子失去皇后的宠爱，陛下也早有废黜他的想法，这是您知道的。现在如果能请求立晋王为太子，这事只在您兄长杨素的一句话。如果能在此时立下大功，晋王一定会永远铭记您的恩情，这样就能摆脱如累卵般的危险，成就如泰山般稳固的地位。”杨约同意了，于是把这个想法告诉了杨素。杨素听后非常高兴，拍手说：“我的智谋，远不如你，多亏你提醒我。”杨约知道计策可行，又对杨素说：“如今皇后的话，陛下没有不听的，应当趁机尽早和皇后结交，这样才能长久保住荣华富贵，传给子孙。兄长如果犹豫不决，一旦情况变化，让太子掌权，恐怕灾祸很快就会到来！”杨素听从了他的建议。
几天后，杨素入宫陪侍宴会，委婉地说：“晋王孝顺友爱、恭敬节俭，和陛下很像。”用这话试探独孤皇后的心意。独孤皇后流泪说：“您说得对！我的儿子非常孝顺，每次听说陛下和我派使者去，必定会到边境迎接；说起和我们分别的事，