起初，梁毘担任西宁州刺史十一年，当地蛮夷酋长都以拥有黄金多的人为豪杰，相互攻杀掠夺，没有安宁的年份，梁毘对此很忧虑。后来各酋长一起送黄金给梁毘，梁毘把黄金放在座位旁边，对着它们痛哭，说：这些东西饿了不能吃，冷了不能穿，你们为了它们相互残杀，不计其数，现在把它们送给我，是想杀我吗！ 他一点都没有接受。于是蛮夷们被感动而醒悟，不再相互攻击。文帝听说后认为他做得很好，征召他为大理卿，他处理案件公平合理。
梁毘看到杨素专权，担心会成为国家的祸患，于是呈上密封的奏章说：臣听说臣子不能作威作福，否则会危害家族，危及国家。臣见左仆射越国公杨素，受到的宠幸越来越重，权势日益膨胀，士大夫们都看他的眼色行事。违背他意愿的人就像严霜在夏天降临一样遭到打击，阿谀奉承他的人就像甘雨在冬天降落一样得到好处；官员的荣辱升迁都取决于他的一句话，他所偏爱的人都不是忠诚正直之士，他所提拔的都是他的亲戚，子弟们遍布各州各县。天下太平无事时，他可能会暗藏异心；四海有难时，他必定会成为祸端。奸臣专权，都是逐渐形成的，王莽就是经过多年积累才篡汉，桓玄也是在改朝换代时奠定了基础，最终灭掉了汉朝，颠覆了晋朝。陛下如果把杨素当作伊尹 (商朝贤相)，臣恐怕他的心未必像伊尹那样忠诚。希望陛下明察古今，酌情处置，使国家基业永固，天下百姓幸甚！ 奏章呈上，文帝大怒，将梁毘逮捕入狱，亲自审问他。梁毘极力陈说：杨素擅自专宠弄权，在领兵之处，杀戮无道。另外，太子、蜀王被废黜时，百官无不震惊恐惧，只有杨素眉飞色舞，喜形于色，把国家的灾祸当作自己的幸运。 文帝无法反驳他，于是释放了他。
此后，文帝也逐渐疏远猜忌杨素，于是下敕令说：仆射是国家的宰辅，不应亲自处理琐碎事务，只需每隔三五天到尚书省一次，评论大事即可。 表面上表示优待尊崇，实际上是剥夺他的权力。因此，在仁寿末年，杨素不再参与尚书省事务。又将杨约调出朝廷，任伊州刺史。
杨素被疏远后，吏部尚书柳述更加掌权，兼任兵部尚书，参与掌管机密；杨素因此厌恶他。
太子杨广问贺若弼：杨素、韩擒虎、史万岁都被称为良将，他们的优劣如何？ 贺若弼说：杨素是猛将，不是谋将；韩擒虎是斗将，不是领将；史万岁是骑将，不是大将。 太子说：那么谁是大将呢？ 贺若弼下拜说：只有殿下您所选择的人！ 贺若弼的意思是自认为自己是大将。
交州俚族首领李佛子发动叛乱，占据越王故城，派他的侄子李大权占据龙编城，他的别帅李普鼎占据乌延城。杨素推荐瓜州刺史长安人刘方有将帅之才，文帝下诏任命刘方为交州道行军总管，统领二十七营军队前进。刘方军令严肃，有违反军令的必定斩首；但他又爱护士卒，有生病的亲自抚慰，士卒们因此都拥戴他。到了都隆岭，遇到叛军，击败了他们。进军到李佛子的营寨前，先向他晓以祸福。李佛子害怕，请求投降，被押送到长安。
隋文帝仁寿三年 (癸亥，公元 603 年)
秋季八月壬申日，赐幽州总管燕荣死。燕荣性格严酷，鞭打身边的人，动辄上千下。他曾看到路边有一丛荆棘，认为可以做杖，命令取来，立即拿来试打别人。有人申辩自己无罪，燕荣说：以后有罪时，会赦免你。 不久那人犯了过错，将要杖打他时，那人说：前日被杖打时，您答应过有罪会赦免我。 燕荣说：无罪时尚且要打，何况有罪呢！ 仍然照打不误。
观州长史元弘嗣调任幽州长史，害怕被燕荣侮辱，坚决推辞。文帝敕令燕荣说：元弘嗣犯杖责十下以上的罪，都必须上奏。 燕荣愤怒地说：这个竖子竟敢戏弄我！ 于是派元弘嗣监管粮仓，扬言说如果发现一粒糠秕，都要处罚。每次鞭打虽然不满十下，但一天之内，有时要打好几次。这样过了一年多，两人的怨恨越来越深。燕荣于是将元弘嗣逮捕入狱，断绝他的粮食，元弘嗣只能抽取衣服中的棉絮，和着水吞咽。他的妻子到朝廷喊冤，文帝派使者调查，上奏说燕荣暴虐，贪赃枉法；将燕荣召回，赐死。元弘嗣代替燕荣执政，他的残酷比燕荣更甚。
九月壬戌日，设置常平官。
这一年，龙门人王通到朝廷进献《太平十二策》，文帝没有采用，让他回去。王通于是在黄河、汾水之间教授学生，远方来求学的弟子很多，朝廷多次征召他都不出仕。杨素非常看重他，劝他做官，王通说：我有祖先留下的旧屋足以遮风挡雨，薄田足以提供粥食，读书谈道足以自乐。希望明公您端正自身来治理天下，使