杨素派遣总管史万岁率领两千部众，从婺州另辟蹊径，翻山越海，攻破的叛军溪洞据点不计其数。史万岁前后共经历七百多次战斗，转战一千多里，长达一百天没有任何消息，远近的人都以为他已经阵亡。史万岁把奏报军情的书信放在竹筒里，让它顺水漂流，打水的人捡到后，将此事禀报给杨素。杨素将史万岁的战功上奏给隋文帝，隋文帝大为赞叹，赏赐史万岁家十万钱。
杨素又在温州击败沈孝彻，然后率军从陆路奔赴天台，直指临海，追捕残余的叛军，前后共经历一百多次战斗，高智慧逃到闽、越地区固守。隋文帝因杨素长期在外征战辛劳，下令让他乘驿车入朝。杨素认为残余的叛军还没有肃清，恐怕会留下后患，于是再次请求出征，随后乘驿车抵达会稽。王国庆自以为海路艰险，不是北方人所熟悉的，因此没有设防；杨素率军从海路突然抵达，王国庆惊慌失措，弃城逃走。他的余党分散逃入海岛，有的固守溪洞，杨素分别派遣将领，从水陆两路追捕。杨素又秘密派人劝说王国庆，让他斩杀高智慧来赎罪；王国庆于是将高智慧擒获并送交隋军，高智慧在泉州被斩首，其余叛军余党全部归降。江南地区彻底平定。
杨素班师回朝，隋文帝派遣左领军将军独孤陀到浚仪迎接慰劳；等杨素抵达京城后，每天都有很多人前来问候。隋文帝任命杨素的儿子杨玄奖为仪同三司，对杨素的赏赐十分丰厚。独孤陀是独孤信的儿子。
杨素用兵善于谋划权变，统领军队严整有序，每次即将临敌作战时，总会寻找将士的过失并将其斩首，多的时候有一百多人，少的时候也不少于十几人，鲜血淌满面前，他却依然谈笑自若。等到和敌军交战时，他先命令一二百名士兵冲锋，能攻破敌阵就罢了，若是没能攻破敌阵而退回的，无论人数多少，全部斩首；然后再命令二三百名士兵再次冲锋，退回的仍按之前的办法处置。将士们都吓得两腿发抖，抱定必死的决心，因此杨素战无不胜，被称为名将。杨素当时地位显贵、深受宠幸，他的建议隋文帝无不听从，凡是跟随杨素出征的将士，即使是微小的功劳也必定会被记录，而其他将领即使立下大功，也大多会被文吏挑剔责难而得不到封赏，所以杨素虽然生性残忍，将士们也愿意追随他。
隋文帝任命并州总管晋王杨广为扬州总管，镇守江都，又重新任命秦王杨俊为并州总管。
番禺的夷人王仲宣起兵造反，岭南地区的部族首领大多响应他，率军包围了广州。韦洸中箭身亡，隋文帝下诏任命他的副将慕容三藏代理广州道行台军务。又下诏命给事郎裴矩巡抚岭南，裴矩抵达南康后，招募到几千名士兵。王仲宣派遣偏将周师举包围东衡州，裴矩和大将军鹿愿率军攻打并斩杀了周师举，进军抵达南海。
高凉郡冼夫人派遣她的孙子冯暄率军救援广州，冯暄和叛军将领陈佛智素来交好，于是逗留不前；冼夫人得知后，勃然大怒，派人将冯暄捉拿，关押在州府监狱中，又改派孙子冯盎率军出征讨伐陈佛智，将其斩首。冯盎率军在南海和鹿愿会师，与慕容三藏合力攻打王仲宣，王仲宣的部众溃散，广州得以保全。冼夫人亲自披上铠甲，骑着披甲战马，张开锦绣伞盖，率领手持弓弩的骑兵护卫，跟随裴矩巡视安抚二十多个州。苍梧部族首领陈坦等人都前来拜见，裴矩秉承皇帝旨意，任命他们为刺史、县令，让他们回去统领各自的部落，岭南地区就此平定。
裴矩完成使命返回长安，隋文帝对高颎、杨素说：“韦洸率领两万士兵都没能及早越过南岭，朕常常担心他兵力不足。裴矩仅凭三千疲弱士兵就径直抵达南海，有这样的臣子，朕还有什么可忧虑的！” 于是任命裴矩为民部侍郎。隋文帝任命冯盎为高州刺史，追赠冯宝为广州总管、谯国公。册封冼夫人为谯国夫人，开设谯国夫人幕府，设置长史以下的属官，官府供给印章，允许她调发部落所属六州的兵马，若是遇到紧急情况，可以见机行事。隋文帝还特意下敕令，因冼夫