起初，杨素曾因轻微过失被隋文帝下令送到南台（御史台），命令治书侍御史柳彧审理。杨素依仗地位尊贵，坐在柳彧的坐床上。柳彧从外面进来看到后，在台阶下手持笏板，整理好衣冠，对杨素说：“奉陛下诏令审理您的罪状！”杨素急忙下床。柳彧靠着案几坐下，让杨素站在庭院中，盘问案情。杨素因此怨恨柳彧。蜀王杨秀曾向柳彧索要李文博撰写的《治道集》，柳彧给了他；杨秀赠给柳彧十名奴婢。等到杨秀获罪，杨素上奏说柳彧作为内臣与诸侯交往，柳彧被削除官籍贬为平民，发配到怀远镇戍边。
隋文帝派司农卿赵仲卿前往益州彻底追查杨秀的案件，杨秀的宾客所经过的地方，赵仲卿必定刻意罗织罪名，治罪的州县长官超过一半。隋文帝认为赵仲卿能干，赏赐他很多财物。
过了很久，贝州长史裴肃派使者上书，说：“高颎有天赋的良才，是辅佐陛下开国的元勋，因被众人嫉妒，才被废黜；希望陛下记着他的大功，忘掉他的小过。另外，杨勇、杨秀两位庶人获罪已久，难道不会改过自新吗！希望陛下发扬君主和父亲的慈爱，顾念父子天性，给他们各自封一个小国，观察他们的行为：如果能向善，再逐渐增加封地；如果仍不悔改，再贬削也不晚。现在他们自新的道路永远断绝，看不到他们愧疚悔改的心意，难道不可悲吗！”奏书呈上后，隋文帝对杨素说：“裴肃关心我的家事，这也是出于一片诚心。”于是征召裴肃入朝。太子杨广听说后，对左庶子张衡说：“让杨勇自新，想干什么？”张衡说：“看裴肃的意思，是想让杨勇像吴太伯、汉朝东海王那样（主动让贤或安分守己）。”裴肃到了京城，隋文帝当面告诉他杨勇不能再被任用的意思，然后让他回去了。裴肃是裴侠的儿子。
杨素的弟弟杨约、叔伯兄弟杨文思、杨文纪、同族叔父杨忌，都担任尚书、列卿之职；他的儿子们没有立下战功，却官至柱国、刺史；杨素大肆经营产业，从京城到各地的繁华都市，他的府邸店铺、水磨、肥沃田宅，多到数不清；家中奴仆几千人，后庭穿着华丽丝绸的妓妾有上千人；住宅奢华，规格堪比皇宫；亲信和旧部下遍布朝廷要职。自从废黜了一位太子和一位藩王后，杨素的权势更加显赫。朝臣中违背他心意的人，有的甚至被诛杀全家；依附他或与他有亲戚关系的人，即使没有才能，也必定会被提拔，朝廷上下风气败坏，没有人不畏惧并依附他。敢于与杨素对抗而不屈服的，只有柳彧、尚书右丞李纲和大理卿梁毗三人。
起初，梁毗担任西宁州刺史，共任职十一年。当地蛮夷酋长都以拥有黄金多的人为豪杰，互相攻夺，几乎没有安宁的年份，梁毗对此感到忧虑。后来趁各酋长争相送黄金给梁毗的机会，梁毗把黄金放在座位旁，对着黄金痛哭，对酋长们说：“这东西饿了不能吃，冷了不能穿，你们却因它互相残杀，死伤无数，现在把它送来，是想害死我吗！”最终没有接受任何黄金。蛮夷酋长们由此醒悟，不再互相攻击。隋文帝听说后很赞赏他，征召他担任大理卿，梁毗审理案件公正适当。
梁毗见杨素专权，担心成为国家祸患，就呈上密封奏疏说：“臣听说臣子不能作威作福，否则会危害家族、祸乱国家。臣私下观察左仆射越国公杨素，受到的宠幸越来越重，权势日益显赫，士大夫们都要看他的眼色行事。违背他心意的人，如同夏天遭遇严霜般衰败；迎合他心意的人，如同冬天得到甘雨般兴盛；官员的升降由他一句话决定，朝政的废兴听他指挥；他所亲信的都不是忠诚正直之人，所提拔的都是亲戚，子弟遍布各地，占据多个州县。天下太平之时，他或许还会收敛野心；一旦天下有变故，他必定会成为祸乱的开端。奸臣专权，都是逐渐发展而来的，王莽凭借多年积累的权势篡汉，桓玄利用改朝换代的机会夺权，最终灭亡了汉朝，颠覆了晋朝。陛下若把杨素当作辅佐重臣，臣担心他的心思未必像伊尹那样忠诚。希望陛下借鉴古今教训，酌情处置，使国家基业永远稳固，天下百姓幸运！”奏疏呈上后，隋文帝大怒，将梁毗关进监狱，亲自审问他。梁毗极力陈说“杨素凭借宠信玩弄权术，率领军队时，随意杀戮。而且太子、蜀王被废黜时，百官无不震惊恐惧，只有杨素眉飞色舞，面露喜色，把国家的灾祸当作自己的幸事。”隋文帝无法反驳，只好释放了他。
此后，隋文帝也逐渐疏远猜忌杨素，于是下敕令说：“仆射是国家的宰辅，不必亲自处理琐碎