开皇三年（583年），隋文帝曾派大军分五路出击突厥，虽取得一定胜利，但并未彻底解决突厥的威胁。开皇九年（589年）平陈之后，隋文帝终于得以集中精力应对突厥，他任命杨素为灵州道行军总管，率领大军驻守北方边境，防备突厥入侵。
开皇十九年（599年），东突厥的都蓝可汗与西突厥的达头可汗结盟，率领十万骑兵入侵隋朝边境，一时间，北方边疆告急，隋文帝立即任命杨素为行军元帅，率领大军抵御突厥。
以往隋朝对抗突厥，皆采用“方阵战术”——将步兵布置在中间，形成密集的方阵，外围配备骑兵，以步兵方阵阻挡突厥骑兵的冲击，再以骑兵迂回包抄。这种战术虽能抵御突厥的进攻，却难以重创突厥骑兵，往往只能将其击退，无法彻底消灭其有生力量。杨素深知，若要彻底击败达头可汗的十万骑兵，必须改变这种保守的战术。
抵达前线后，杨素召集麾下将领，提出了改变战术的想法。他说：“突厥骑兵骁勇善战，擅长奔袭，若仍用方阵战术，虽能自保，却无法破敌；我军应放弃方阵，组建精锐骑兵部队，与突厥骑兵正面交锋，以快制快，方能重创敌军。”
将领们闻言，皆面露担忧，纷纷说道：“突厥骑兵数量众多，且自幼在草原上长大，骑术精湛，我军骑兵若与之一战，恐难取胜。”杨素却坚定地说：“我军骑兵虽数量不及突厥，但经过多年训练，战斗力已非昔日可比；只要我军指挥得当，将士用命，必能破敌。”
随后，杨素下令拆除步兵方阵，将麾下的骑兵全部集中起来，分为左右两路，每路各配备五千骑兵，由他亲自率领，准备与突厥骑兵正面交战。达头可汗得知隋军放弃方阵，改用骑兵出战后，大喜过望，对麾下将领说：“隋军不懂战术，竟敢用骑兵与我军对抗，此次定要将其全歼！”说完，他亲自率领骑兵，向隋军发起冲锋。
杨素见突厥骑兵发起进攻，并未急于下令反击，而是待突厥骑兵逼近至百步之内时，才下令：“全军出击！”顿时，隋军骑兵分为两路，如离弦之箭般冲向突厥骑兵。杨素身先士卒，手持长矛，冲入突厥阵中，斩杀数名突厥将领。麾下士兵见状，士气大振，奋勇杀敌，与突厥骑兵展开了激烈的搏杀。
突厥骑兵本以为隋军骑兵不堪一击，却没想到隋军骑兵不仅骑术精湛，且配合默契，战斗力极强。双方激战数个时辰，突厥骑兵逐渐不支，达头可汗见势不妙，想要率军撤退，却被隋军骑兵缠住，无法脱身。此时，杨素又下令派出预备队，从突厥骑兵的侧翼发起突袭，突厥骑兵顿时大乱，纷纷溃散。
达头可汗在乱军中被隋军士兵砍伤，只得率领残部狼狈逃走。隋军乘胜追击，斩杀突厥士兵万余人，缴获马匹数万，取得了一场大胜。经此一战，突厥元气大伤，达头可汗再也无力入侵隋朝边境，北方边疆得以安定。
战后，隋文帝得知杨素大败突厥，龙颜大悦，下旨褒奖杨素，称其“勇冠三军，谋深似海，破突厥而安北疆，功盖当世”，加封杨素为尚书右仆射，与高颎共同辅佐朝政，成为隋朝的宰相之一。此时的杨素，已达到了人生的巅峰，权倾朝野，深受隋文帝的信任与倚重。
杨素成为尚书右仆射后，虽身居高位，却始终保持着谨慎的态度。他深知，“功高震主”乃是历代功臣的大忌，尤其是隋文帝杨坚虽为明君，却也生性多疑，若不懂得收敛锋芒，迟早会引来杀身之祸。因此，在朝堂之上，杨素从不轻易发表与隋文帝相悖的意见，对于隋文帝的决策，即便有不同看法，也会在私下里委婉进谏，而非在朝堂上公开反对。
同时，杨素也十分注重与其他大臣的关系。当时的左仆射高颎，乃是隋朝的开国功臣之一，才华横溢，深得隋文帝信任。杨素与高颎虽在政见上偶有分歧，却始终保持着相互尊重的态度，从未因权力之争而相互倾轧。此外，杨素还十分爱惜人才，对于有才华的年轻官员，他总是不遗余力地提拔举荐，如后来的名将史万岁、贺若弼等人，都曾得到过杨素的赏识与提拔。
不过，杨素的谨慎，并未完全消除隋文帝的猜忌。随着杨素的威望日益增高，隋文帝对他的态度也逐渐发生了变化。开皇末年，隋文帝晚年多疑，对大臣的猜忌愈发严重，杨素虽小心翼翼，却仍难免受到牵连。一次，隋文帝生病，杨素前往宫中探望，因担心隋文帝的病情，便在宫外的走廊上徘徊，此事被隋文帝得知后，却认为杨素“窥探宫禁，心怀不轨”，对他的信任度大大降低。
仁寿四年（604年），隋文帝病逝，隋炀帝杨广继位。杨广在做晋王时，曾与杨素结为盟友，杨素在杨广争夺太子之位的过程中，给予了他很大的帮助。因此，杨广继位后，对杨素十分感激，加封他为司徒、楚国公，赏赐无数。但杨广同样是一个猜忌心极重的君主，他虽重用