当时太子杨勇失去隋文帝的宠爱，隋文帝暗中有废黜太子的想法，他从容地对高颎说：“有神仙告知晋王妃，说晋王一定会拥有天下，该怎么办呢？”高颎长跪不起，说：“长幼有序，太子怎么能废黜呢！”隋文帝沉默不语，暂时打消了废太子的念头。独孤皇后知道高颎不会改变立场，暗中想除掉他。
恰逢隋文帝下令挑选东宫的卫士编入皇宫宿卫，高颎上奏说：“如果把东宫的强壮卫士都选走，恐怕东宫的宿卫力量就太薄弱了。”隋文帝脸色一变，说：“我有时出入皇宫，宿卫需要勇猛刚毅的人。太子在东宫修养德行，身边何须强壮卫士！这是严重的弊端。按我的意思，应在卫士轮班交接的日子，分配一部分到东宫，皇宫和东宫的宿卫队伍不加以区别，难道不是好事！我清楚地看到前代的教训，你不必再沿袭旧俗。”高颎的儿子高表仁娶了太子的女儿，因此隋文帝用这番话防备高颎。
高颎的妻子去世，独孤皇后对隋文帝说：“高仆射年纪大了，又失去妻子，陛下怎能不为他再娶一位妻子呢！”隋文帝把独孤皇后的话告诉高颎。高颎流着泪辞谢说：“我现在已经年老，退朝后只愿在家斋戒读佛经罢了。即使陛下深切关怀我，娶妻子的事，也不是我的愿望。”隋文帝于是不再提此事。不久后，高颎的爱妾生下一个儿子，隋文帝听说后非常高兴，独孤皇后却很不高兴。隋文帝问她原因，独孤皇后说：“陛下还相信高颎吗？起初，陛下想为高颎娶妻子，高颎心里却想着爱妾，当面欺骗陛下。现在他的欺诈行为已经暴露，怎么能再相信他！”隋文帝从此疏远了高颎。
隋朝讨伐高丽的战役，高颎曾坚决劝谏，隋文帝没有听从，等到大军无功而返，独孤皇后对隋文帝说：“高颎起初就不愿意出征，陛下强行派遣他，我原本就知道他会无功而返！”此外，隋文帝因汉王杨谅年轻，把军事大权都交给高颎，高颎因身负重任，凡事都以国家为重，没有避嫌的想法，杨谅的建议大多不被采纳。杨谅因此对高颎心怀怨恨，返回京城后，哭着对独孤皇后说：“我差点被高颎杀死。”隋文帝听说后，对高颎更加不满。
等到高颎攻打突厥时，率军出白道后，计划进一步深入沙漠，于是派遣使者请求增兵，隋文帝身边的大臣趁机说高颎想谋反。隋文帝还没有回应，高颎已经击败突厥返回。后来王世积被处死，调查时发现一些宫禁中的事情，据说从高颎那里得知，隋文帝大为震惊。有关部门又上奏说“高颎和左右卫大将军元旻、元胄都与王世积有交往，接受过王世积赠送的名马”。元旻、元胄因此被免去官职。上柱国贺若弼、吴州总管宇文弼、刑部尚书薛胄、民部尚书斛律孝卿、兵部尚书柳述等人证明高颎无罪，隋文帝更加愤怒，把他们都交给有关部门治罪，从此朝臣中没有人再敢为高颎说话。秋季八月癸卯日，高颎因罪被免去上柱国、左仆射的职务，以齐公的爵位回到府第。
不久后，隋文帝前往秦王杨俊的府第，召高颎陪同宴饮。高颎感慨叹息，悲伤得不能自已，独孤皇后也对着他流泪。隋文帝对高颎说：“我没有辜负你，是你自己辜负了自己。”接着对侍从大臣说：“我对高颎，比对儿子还好，即使有时不见面，也总觉得他就在眼前。自从他被免职后，我就彻底把他忘了，好像原本就没有高颎这个人。臣子不能用自身的功绩要挟君主，自称是天下第一啊。”
不久后，高颎封国的国令上报高颎的隐秘之事，称高颎的儿子高表仁对高颎说：“司马懿当初假装生病不上朝，最终夺取了天下。您现在遇到这样的处境，怎知不是福气呢！”隋文帝大怒，将高颎囚禁在内史省审问。司法部门又上奏，称僧人真觉曾对高颎说：“明年国家会有大丧事。”尼姑令晖也说：“开皇十七年、十八年，皇帝会有大灾厄，十九年恐怕熬不过去。”隋文帝听后更加愤怒，对群臣说：“帝王之位难道能靠努力争夺来吗！孔子凭借大圣之才，尚且不能得到天下。高颎和他儿子的对话，把自己比作司马懿（晋朝的实际开创者），这是什么居心！”有关部门请求将高颎斩首。隋文帝说：“去年杀了虞庆则，今年又斩了王世积，要是再杀高颎，天下人会怎么评价我！”于是将高颎削除官籍，贬为平民。
高颎当初担任仆射时，他的母亲告诫他说：“你富贵已经到了极点，接下来只会有掉脑袋的灾祸，你一