杨坚担任丞相后杨素倾心结交，受杨坚器重。等杨坚受禅让称帝给他加官晋爵。
隋文帝图取江南。此前杨素多次向朝廷进献攻取陈国计策，不久拜为江西上饶总管，上任破陈。杨素命人建大战舰，上面盖起五层楼台，可容纳战士八百，上置旗帜。次等舰叫黄龙，可容纳战士百人。此外平乘、舴艋之类的船只数量不一。
大举攻陈时杨素为行军元帅，率大军前往三峡。军队到达流头滩时陈国将领戚欣派青龙战舰百艘、士兵千人镇守狼尾滩，阻击隋军。其地势险峻，将领们顾虑。杨素趁夜色掩护，亲率黄龙战舰千艘，命战士们衔枚而下，同时派开府王长袭率步军从南岸攻击戚欣其他营寨，命大将军刘仁恩率骑兵直趋白沙北岸，黎明时赶到，发起攻击。戚欣败退。隋军全俘虏戚欣军队，慰劳他们后遣散，秋无犯，陈国人高兴。
陈国南康内史吕仲肃占据江峡，在北岸凿岩石，连缀铁索三条遏制战船。杨素与刘仁恩登陆并进，先攻他寨栅。吕仲肃军队在夜被击溃，杨素从容除去铁索。吕仲肃据守荆门，杨素派遣善驾船的士兵千人，用柏樯击碎敌人十艘战舰，大败敌军，俘虏甲士二千，吕仲肃孤身得免。陈国另两位守将吓得退走。湖南岳阳以东没敢守的。班师后杨素被封郢国公，食邑三千户。他因逆贼王谊曾封于郢，不愿与之同封，改封越国公。
在外征战久隋文帝将杨素召入朝替苏威担任尚书右仆射，与高同管理朝廷政事。杨素疏放，善言辩，随心所欲，旁若无人。朝中大臣他推重高和牛弘，厚待薛道衡，视苏威于无物。其余朝廷贵臣被他欺侮凌辱。杨素风度高于高；但忠心为国，平等人接物，有宰相气度比不上高。
不久文帝命杨素监督修造仁寿宫，杨素削平小山，填塞山谷，督责工程严迫苛刻，劳工死多。到宫殿建成后文帝令高去查看，高奏称华丽，劳工死伤多，文帝不高兴。杨素恐惧，无计可施，到北门对独孤皇后说“帝王按制度应有离宫别馆，现在天下太平，建这样宫殿浪费？”皇后用这道理劝解文帝，文帝不满稍微缓解。
开皇十八年突厥达头可汗侵犯边塞，杨素以灵州道行军总管身份出塞征讨。将领与突厥作战时常顾虑敌人骑兵冲击，都将战车与步军骑兵杂合，车载鹿角列方阵，骑兵列入阵中。杨素认为保全方法，不能胜。令各军列为骑兵阵势。达头可汗听后大喜“天助我！”下马仰天祷告，率十万精锐部队进犯。杨素奋力迎战，大破敌军，达头重伤逃遁，所率兵卒死伤不可计。
仁寿初年杨素代高担任尚书左仆射。当年他以行军元帅职出山西怀仁攻击突厥，连续破敌。突厥撤退，杨素率骑兵追击，晚上追上怕敌人逃，令骑兵稍靠后。杨素亲率两名骑兵和两名投降突厥士兵与胡虏同行，没被发觉。待突厥驻扎尚未安定，杨素率后续骑兵攻击，大败敌军。突厥远逃，漠南不再有突厥王庭。
杨素足智多谋，善抓时机对敌，应变灵活。然杨素治军严厉，有人触犯军令立即斩杀，每次将临战，找出部下过失处斩，多的杀百人，少的十人，血流满地，他仍谈笑自若。到两军对垒时杨素先令一百人冲向敌人，冲溃敌阵则罢，如敌阵未溃败而有士兵跑回，不管多少全斩首。再令二百人冲向敌人，退回的如前处置。将士们颤栗，怀必死之心对敌，以此战胜，成名将。杨素显贵受宠，朝廷对他言听计从，跟随杨素征伐的微小的功必登录。至于其他将领，有大功常被文吏责罚去除。士兵们愿跟随他。
杨素恩宠日渐优厚。他弟杨约、叔父杨文思、弟杨文纪及族叔杨异，都尚书、列卿。他儿子们没汗马功，官位至柱国、刺史。家有千名仆人，后房姬妾穿绮罗千人。家宅奢侈，规模与皇宫媲美。亲戚和旧日属吏居于显位。当时无可比拟。
炀帝刚做太子忌惮蜀王杨秀，与杨素合谋算计他，罗织罪名，后杨秀废黜。朝中大臣有违背触犯他，即使忠心为国，如贺若弼、史万岁、李纲、柳彧，杨素都暗地里阴害。如有投靠他人或亲属，即使没啥才加官晋爵。朝臣纷纷倒向他，兵部尚书柳述借帝女婿地位，多次在文帝面前指责杨素。大理卿梁毗上表直言杨素作威作福。文帝疏远杨素后敕命说“仆射是国家宰辅，不可亲自过问琐事，五天去次尚书省议论大事”表面上厚待重视，实际削夺他权力。直到仁寿末年杨素没再掌理尚书省事务。
文帝病重时杨素与兵部尚书柳述、黄门侍郎元岩入宫侍候。皇太子杨广居于大宝殿，担心皇上归天要先做防备，亲手写封送出问杨素。杨素写文帝病情报告太子。可宫人误把此信送文帝。文帝怒。他宠爱陈贵人又说太子非礼她。文帝要召回废太子杨勇。太子杨广向杨素问计，杨素假传圣旨，令太子卫队护卫皇宫把守大门，禁止出入，令张衡侍奉皇上病体。文帝于当日驾崩，舆论一时怀疑。
后汉王杨谅起兵，杨素披挂出征，平定叛乱。杨素有此大功，有建国立君谋略，然为炀帝猜忌。炀帝表面优厚待遇，内情浅薄。太史说隋分野有大丧，朝廷就改封杨素于楚，因隋与楚分野相同，朝廷想以杨素应验。杨素病重