杨勇曾宴请东宫的臣僚，唐令则亲自弹奏琵琶，唱起《娬媚娘》。洗马李纲起身对杨勇说：“唐令则身为东宫官员，职责本是调教护佑太子；却在大庭广众之下把自己比作歌舞艺人，进献靡靡之音，玷污众人的耳目。此事若是被陛下知道，唐令则的罪责难以预料，难道不会连累殿下吗！臣请求立刻治他的罪！” 杨勇说：“我不过是想取乐罢了，你不要多管闲事！” 李纲于是快步退了出去。等到杨勇被废，文帝召见东宫的官属严加斥责，众人都惶恐不安，没人敢应答。只有李纲说：“废立太子是国家大事，如今文武大臣都知道这样做不妥，却没人敢说出来，臣怎敢怕死，不向陛下把事情分辨明白呢！太子的本性本是中等之人，可以引导他向善，也可以纵容他作恶。当初若是陛下挑选正直贤良的人辅佐他，完全能够让他继承守护宏大的基业。如今却让唐令则担任左庶子，邹文腾担任家令，这两个人只知道用弹琴唱歌、打猎遛狗来取悦太子，太子怎能不落到这般田地呢！这是陛下的过错，并非太子的罪过啊。” 说完便伏在地上流泪呜咽。文帝神色凄然，沉默了许久才说：“李纲指责我，并非没有道理，但你只知其一，不知其二。我挑选你做东宫的臣僚，可杨勇却不亲近信任你，就算再换些正直的人来，又有什么用处呢！” 李纲回答说：“臣之所以不被太子亲近信任，实在是因为奸臣在他身边的缘故啊。陛下只要斩杀唐令则、邹文腾，再挑选贤能之才辅佐太子，怎会知道臣最终会被疏远抛弃呢！自古以来废黜嫡长子，很少有不导致国家倾覆危亡的，希望陛下慎重考虑，不要留下后悔的余地。” 文帝听后很不高兴，罢朝而去，身边的人都为李纲感到心惊胆战。恰逢尚书右丞一职空缺，有关部门请求人选，文帝指着李纲说：“这是个称职的右丞人选！” 当即任命他为尚书右丞。
太平公史万岁从大斤山返回朝廷，杨素妒忌他的功劳，对文帝说：“突厥本来已经归降，起初就不是来侵犯的，只是到边塞上来放牧罢了。” 于是文帝便搁置了对史万岁功劳的封赏。史万岁屡次上书直言陈述战况，文帝都没有醒悟。文帝废黜太子时，正在彻底追查东宫的党羽。文帝问史万岁在哪里，史万岁其实就在朝堂之上，杨素却说：“史万岁去拜见东宫太子了！” 以此来激怒文帝。文帝信以为真，下令召见史万岁。当时史万岁所率领的将士在朝堂上喊冤的有几百人，史万岁对他们说：“我今天一定向陛下极力进言，此事定会有个决断。” 见到文帝后，史万岁说 “将士们立下功劳，却被朝廷压制！” 言辞语气激昂严厉。文帝勃然大怒，下令身边的人将他当场斩杀。不久之后文帝又后悔了，派人去追回命令，却已经来不及了，于是下诏陈述史万岁的罪状，天下人都为他感到冤枉痛惜。
十一月戊子日，文帝立晋王杨广为皇太子。当天天下发生地震，太子杨广请求降低自己的章服等级，东宫的官员也不对自己称臣。十二月戊午日，文帝下诏批准了他的请求。任命宇文述为左卫率。当初，太子杨广谋划夺取太子之位时，洪州总管郭衍参与其中，因此朝廷征召郭衍担任左监门率。
文帝将前太子杨勇囚禁在东宫，交由太子杨广看管。杨勇认为自己被废并非因为有罪，屡次请求面见文帝申诉冤情，但都被杨广阻拦，没能让文帝听到他的诉求。于是杨勇爬上树大声呼喊，声音传到了文帝的住所，希望能得到召见。杨素却趁机说杨勇神志昏乱，是被疯鬼附身，已经无可救药。文帝认为杨素说得对，杨勇最终也没能见到文帝。
起初，文帝攻克陈国时，天下人都认为将会迎来太平盛世，监察御史房彦谦却私下对亲近的人说：“主上猜忌刻薄又严苛残酷，太子地位卑微、性格懦弱，各位藩王专权跋扈，天下虽然安定，却正潜藏着危亡动乱的隐患。