高颎又认为隋炀帝对启民可汗过于优厚，对太府卿何稠说：“这个胡人很清楚中原的虚实、山川的险易，恐怕会成为后患。”还对观王杨雄说：“近来朝廷一点纲纪都没有。”
礼部尚书宇文弼私下对高颎说：“天元皇帝的奢侈，和现在比起来，不也差得远吗？”还说：“修筑长城的劳役，实在不是紧急事务。”光禄大夫贺若弼也私下议论宴请启民可汗时过于奢华。这些话都被人上奏给隋炀帝，隋炀帝认为他们诽谤朝政。
丙子日，高颎、宇文弼、贺若弼全被处死，高颎的儿子们被流放到边疆，贺若弼的妻子儿女被没入官府做奴婢。事情牵连到苏威，苏威也被免官。高颎有文武大略，通晓政务，自从被重用后，始终竭诚尽忠，推荐贤良人才，以天下为己任；苏威、杨素、贺若弼、韩擒虎都是他推荐的，其余立功成事的人更是不计其数。他在朝执政近二十年，朝野上下都推崇信服他，没有异议，天下富庶，有他很大功劳。他死后，天下人无不哀悼。
此前，萧琮因皇后萧氏的缘故，很受隋炀帝亲近重用，担任内史令，改封为梁公，他宗族中服丧一年以上的亲属，都按才能被提拔任用，萧氏兄弟遍布朝廷。萧琮性情淡泊高雅，不把职务放在心上，虽然在隋朝做官，面对北方权贵，也从不低声下气。他和贺若弼关系要好，贺若弼被处死后，又有童谣唱“萧萧亦复起”（暗示萧氏将复兴），隋炀帝因此猜忌他，把他罢官回家，不久萧琮就去世了。
八月壬午日，隋炀帝的御驾从榆林出发，经过云中，沿金河逆流而上。当时天下太平，物资丰足，随驾士兵有五十多万人，战马十万匹，旌旗、粮草辎重连绵千里不绝。隋炀帝让宇文恺等人建造“观风行殿”，殿内能容纳几百名侍卫，可拆可合，下面装有轮轴，能快速移动；又建造“行城”，周长两千步，用木板做框架，蒙上布，再涂上彩绘，城楼、了望台等设施一应俱全。胡人看到后，惊讶得以为是神仙下凡，每次望见御营，在十里之外就跪下磕头，没人敢骑马。启民可汗搭建好帐篷，等待御驾到来。
乙酉日，隋炀帝亲临启民可汗的帐篷，启民可汗捧着酒杯祝寿，跪拜伏地，态度极为恭敬。王侯以下的官员在帐前袒露上身切割羊肉，没人敢抬头看隋炀帝。隋炀帝非常高兴，赋诗道：“呼韩顿颡至，屠耆接踵来；何如汉天子，空上单于台。”皇后也亲临义成公主的帐篷。隋炀帝赐给启民可汗和义成公主各一个金瓮，还有衣服、被褥、锦缎彩绸，特勒以下的官员也各有赏赐。隋炀帝返回时，启民可汗跟随入塞，己丑日，隋炀帝派他回国。
癸巳日，隋炀帝进入楼烦关；壬寅日，抵达太原，下诏营建晋阳宫。隋炀帝对御史大夫张衡说：“我想路过你家，你给我当回主人吧。”张衡于是先骑马赶到河内，准备好酒肉。隋炀帝登上太行山，开辟了一条九十里长的直道；九月己未日，抵达济源，亲临张衡家。隋炀帝喜欢这里的山泉景色，留下宴饮三天，赏赐极为丰厚。张衡又献上食物，隋炀帝下令分赏给公卿大臣，下至卫兵，每人都能分到。己巳日，隋炀帝抵达东都。
壬申日，任命齐王杨暕为河南尹；癸酉日，任命民部尚书杨文思为纳言。
冬天十月，隋炀帝下令河北各郡选送有一技之长的人家，共三千多家到东都服役，在洛水南岸设置十二坊安置他们。
西域各国的胡人大多到张掖做买卖，隋炀帝派吏部侍郎裴矩掌管这件事。裴矩知道隋炀帝喜好开拓疆土，每当有胡商到来，就引诱他们讲述各国的山川、风俗，以及国王、百姓的容貌服饰，撰写成《西域图记》三卷，记载了四十四国，入朝献给隋炀帝。他还另外绘制地图，详细标注各地的要害之处，从西倾山向西，纵横达两万里，从敦煌出发到西海，共分三条路线：北道从伊吾出发，中道从高昌出发，南道从鄯善出发，最终都汇合到敦煌。
裴矩还说：“凭隋朝的威望德行，将士的勇猛，渡过蒙汜水、翻越昆仑山，易如反掌。只是突厥、吐谷浑分别控制着羌、胡各国，阻断了通道，所以这些国家无法入朝进贡。现在各国都通过商人暗中表达归附的诚意，翘首期盼，愿做隋朝的臣民。如果对他们加以安抚，派人出使，不用出动军队，各国归附后，吐谷浑、突厥就能被消灭，统一中原和边疆，就在此一举了！”
隋炀帝非常高兴，赏赐裴矩五百段丝织品，每天都召裴矩到御座前，亲自询问西域的情况。裴矩极力夸赞“西域有很多珍宝，吐谷浑容易吞并”。隋炀帝于是一心效仿秦始皇、汉武帝的功业，决心打通西域；对四方异族的谋划，全都交给裴矩负责。隋炀帝任命裴矩为黄门侍郎，又派他到张掖，招引西域各国胡人，用利益引诱他们，劝他们入朝。
从此，西域各国胡人往来不断，他们所经过的郡县，都因接待、送行而疲惫不堪，耗费的钱财数以万万计，最终导致中原疲弊灭亡，这