独孤皇后生性善妒，后宫的妃嫔都不敢侍奉隋文帝。尉迟迥的孙女容貌秀美，先前被没入宫中。隋文帝在仁寿宫见到她后十分喜爱，于是临幸了她。独孤皇后趁隋文帝上朝听政的时机，暗中将她杀害。隋文帝因此勃然大怒，独自骑马从御苑中出走，不沿正道而行，进入山谷中二十多里。高颎、杨素等人追上隋文帝，拉住马缰绳苦苦劝谏。隋文帝叹息说：“我贵为天子，却得不到自由！” 高颎说：“陛下怎能因为一个妇人而轻视天下！” 隋文帝的怒气稍有缓解，停马伫立许久，到半夜才返回皇宫。独孤皇后在宫内阁中等候，隋文帝一到，她就流泪叩拜请罪，高颎、杨素等人从中调解，于是摆下酒宴，君臣尽欢。此前，独孤皇后因高颎是父亲独孤信的家客，对他十分亲近礼遇；到这时，她听说高颎称自己为 “一个妇人”，便对高颎心怀怨恨。
当时皇太子杨勇已失去隋文帝的宠爱，隋文帝暗中有了废立太子的想法，曾从容地对高颎说：“有神明告知晋王妃，说晋王必定会拥有天下，该怎么办呢？” 高颎长跪不起说：“长幼有序，太子之位怎能随意废黜！” 隋文帝沉默不语，此事暂且作罢。独孤皇后知道高颎的立场不会改变，便暗中想要除掉他。
恰逢隋文帝下令挑选东宫的卫士补充到皇宫禁军，高颎上奏说：“若是把东宫的强壮卫士都调走，恐怕东宫的宿卫力量会太过薄弱。” 隋文帝脸色一变说：“我时常出宫出入，宿卫必须要有勇毅之士。太子在东宫修养德行，身边何必要有壮士！这是极为有害的旧制度。按照我的意思，应当在卫士轮值交接的日子，将他们分配到东宫一部分，皇宫和东宫的卫队编制不再区别，这难道不是好事！我对前代的旧事看得很清楚，你不必再沿袭旧风气。” 高颎的儿子高表仁娶了皇太子的女儿，所以隋文帝用这番话来防备高颎。
高颎的夫人去世后，独孤皇后对隋文帝说：“高仆射年纪大了，又失去了夫人，陛下怎能不为他再娶一位妻子！” 隋文帝把皇后的话转告给高颎。高颎流着泪推辞说：“臣如今已经年老，退朝之后，只在斋室中诵读佛经罢了。虽然陛下对臣体恤深厚，但说到娶妻纳妾，实在不是臣的心愿。” 隋文帝于是作罢。不久后，高颎的爱妾生下一个儿子，隋文帝听说后非常高兴，独孤皇后却很不高兴。隋文帝询问缘由，皇后说：“陛下还能再信任高颎吗？当初陛下想为他娶妻，他心里却惦记着爱妾，当面欺瞒陛下。如今他的欺诈已经败露，怎能再信任他！” 隋文帝从此开始疏远高颎。
征伐辽东的战役中，高颎曾坚决劝谏，隋文帝没有听从，等到大军无功而返，独孤皇后又对隋文帝说：“高颎起初就不愿意出征，是陛下强行派遣他去的，臣妾本来就知道他不会成功！” 此外，隋文帝因汉王杨谅年纪尚轻，将军中事务全权委托给高颎，高颎因身负重任，凡事都秉持公心，没有自我猜疑的想法，杨谅的建议大多不被采纳。杨谅因此对高颎心怀怨恨，班师回朝后，哭着对独孤皇后说：“儿臣侥幸才没被高颎害死。” 隋文帝听说后，对高颎越发不满。
等到攻打突厥时，高颎率军出白道，准备进一步深入漠北，派遣使者请求增兵，隋文帝身边的近臣趁机进言说高颎图谋造反。隋文帝还未答复，高颎已经击败突厥返回。后来王世积被处死，在核查案情时，发现涉及皇宫内廷的机密事务，据称是从高颎那里得到的，隋文帝大为震惊。有关部门又上奏说 “高颎和左右卫大将军元旻、元胄，都和王世积有交往，还接受了王世积赠送的名马”。元旻、元胄因此获罪被免去官职。上柱国贺若弼、吴州总管宇文弼、刑部尚书薛胄、民部尚书斛律孝卿、兵部尚书柳述等人都为高颎辩明无罪，隋文帝越发愤怒，将他们全部交给执法官吏治罪，从此朝臣中再没人敢为高颎说话。秋季八月癸卯日，高颎因此获罪被免去上柱国、左仆射的官职，以齐公的身份回家闲居。
没过多久，隋文帝驾临秦王杨俊的府第，召高颎前来赴宴。高颎在宴会上唏嘘不已，难以抑制悲伤，独孤皇后也对着他流泪。隋文帝对高颎说：“朕没有辜负你，是你自己辜负了朕。” 又对身边侍臣说：“我对待高颎，胜过对待自己的儿子，即便有时见不到他，也总觉得他就在眼前。自从他被罢官，我就彻底把他忘了，好像原本就没有高颎这个人一样。臣子不能用自身的功劳要挟君主，自称是天下第一。”
不久后，高颎封国的国令告发高颎的隐秘之事，声称高颎的儿子高表仁曾对高颎说：“司马懿当初托病不上朝，最终夺取了天下。您如今