事务，只需每隔三五天到尚书省一次，讨论重大事务即可。”表面上是优待尊崇杨素，实际上是剥夺他的权力。从此，杨素在仁寿年间剩余的时间里，不再参与尚书省的事务决策。朝廷又调出杨约，任命他为伊州刺史。

    杨素被疏远后，吏部尚书柳述更加有权势，兼任兵部尚书，参与掌管机密要务；杨素因此怨恨柳述。

    太子杨广问贺若弼：“杨素、韩擒虎、史万岁都被称为良将，他们的优劣如何？”贺若弼说：“杨素是猛将，不是谋将；韩擒虎是斗将，不是领将；史万岁是骑将，不是大将。”太子问：“那么谁是大将呢？”贺若弼跪拜说：“全凭殿下选择！”贺若弼的意思是自认为是大将。

    交州俚人首领李佛子发动叛乱，占据越王故城，派他哥哥的儿子李大权占据龙编城，另一位首领李普鼎占据乌延城。杨素推荐瓜州刺史长安人刘方有将帅之才，隋文帝下诏任命刘方为交州道行军总管，统领二十七营军队进军平叛。刘方军令严明，有违反军令的人必斩；但他爱护士兵，士兵生病时，他亲自安抚照料，士兵们也因此真心归附他。军队抵达都隆岭，遭遇叛军，将其击败。进军到李佛子的军营前，刘方先向李佛子陈述利害。李佛子恐惧，请求投降，刘方将他押送到长安。

    仁寿三年（癸亥年，公元603年）

    秋季八月壬申日，隋文帝赐幽州总管燕荣自杀。燕荣性格残酷严苛，鞭打侍从，动辄就打上千下。他曾看到路边从生的荆棘，认为可以做刑杖，命令手下取来，立即用它试打路人。有人自称无罪，燕荣说：“以后你若犯罪，就赦免你。”不久后这人真的犯了罪，燕荣准备用杖打他，这人说：“前些天被打时，您答应以后犯罪就赦免我。”燕荣说：“无罪尚且要打，何况有罪呢！”照样鞭打他。

    观州长史元弘嗣调任幽州长史，担心被燕荣侮辱，坚决推辞。隋文帝敕令燕荣：“元弘嗣犯了该打十杖以上的罪，都必须上奏朝廷。”燕荣愤怒地说：“这小子竟敢戏弄我！”于是派元弘嗣监管粮仓收粮，哪怕粮食里夹杂一粒糠、一颗秕谷，都要惩罚元弘嗣。每次鞭打虽然不满十下，但一天之内，有时会打三四次。这样过了几年，两人的怨恨越来越深。燕荣最终将元弘嗣逮捕入狱，断绝他的粮食，元弘嗣只好抽出衣服里的棉絮，混着水吞咽充饥。他的妻子到皇宫喊冤，隋文帝派使者调查核实，使者上奏燕荣暴虐无道、贪污受贿声名狼藉；隋文帝征召燕荣回京城，赐他自杀。元弘嗣接替燕荣治理幽州，手段比燕荣更残酷。

    九月壬戌日，朝廷设置常平官（掌管调节粮价、储备粮食的官员）。

    这一年，龙门人王通到皇宫献上《太平十二策》，隋文帝没有采纳，王通辞官回乡。于是王通在黄河、汾水之间讲学，从远方来求学的弟子很多，朝廷多次征召他做官，他都拒绝了。杨素非常敬重他，劝他做官，王通说：“我家有祖先留下的破旧房屋，足够遮风挡雨；薄田足够提供粥饭；读书论道足够自我娱乐。希望您端正自身来治理天下，让时节和顺、年成丰收，我得到的恩赐就已经很多了，不愿做官。”有人向杨素诋毁王通说：“他其实很轻视您，您为什么还敬重他？”杨素拿这话问王通，王通说：“如果您可以被轻视，那是我对了；如果您不可被轻视，那是我错了：对错都在我，与您有什么关系！”杨素仍像以前一样对待他。弟子贾琼问王通如何平息诽谤，王通说：“不用辩解。”又问如何消除怨恨，王通说：“不要争执。”王通常说：“不轻易赦免罪犯的国家，刑罚必定公正；过度征收赋税的国家，财力必定枯竭。”又说：“听到诽谤就发怒的人，是谗言的媒介；看到赞誉就高兴的人，是谄媚的温床；断绝媒介、去除温床，谗言和谄媚就会远离。”隋炀帝大业末年，王通在家中去世，弟子们给他追谥“文中子”。

    突厥步迦可汗的部落发生大乱，铁勒仆骨等十多个部落，都背叛步迦可汗，归降启民可汗。步迦可汗的部众溃散，向西逃奔吐谷浑；长孙晟护送启民可汗到碛口，启民可汗于是完全占有了步迦可汗的部众。