起初，玄宗想任命李林甫为宰相，询问中书令张九龄的意见，张九龄回答：“宰相关系到国家安危，陛下任命李林甫为相，我担心将来会成为国家的祸患。”玄宗不听。当时张九龄正因文学才华受到玄宗重视，李林甫虽然怨恨他，仍假意奉承。侍中裴耀卿与张九龄关系友好，李林甫也一同嫉恨他。此时，玄宗在位多年，逐渐放纵奢侈欲望，对政事懈怠。而张九龄遇到事情无论大小都极力争辩；李林甫则巧妙窥探玄宗的心意，日夜谋划如何中伤张九龄。
玄宗还是临淄王时，赵丽妃、皇甫德仪、刘才人都受到宠爱，赵丽妃生下太子李瑛，皇甫德仪生下鄂王李瑶，刘才人生下光王李琚。玄宗即位后，宠爱武惠妃，赵丽妃等人的宠爱都衰退了；武惠妃生下寿王李瑁，宠爱超过其他皇子。太子李瑛与李瑶、李琚在宫中府邸相会，各自因母亲失宠而有怨恨的言语。驸马都尉杨洄娶了咸宜公主，常常窥探三位皇子的过失报告给武惠妃。武惠妃哭泣着对玄宗说：“太子暗中勾结党羽，想要谋害我和寿王，还指责陛下。”玄宗大怒，把这件事告诉宰相，想把三位皇子都废黜。张九龄说：“陛下登基将近三十年，太子和诸王从未离开深宫，每天接受陛下的教导，天下人都庆幸陛下在位长久、子孙繁盛。如今三位皇子都已成年，没有听说有大的过错，陛下怎能仅凭没有根据的话，在愤怒之时就把他们全部废黜呢！况且太子是国家的根本，不能轻易动摇。从前晋献公听信骊姬的谗言杀死申生，导致三代大乱；汉武帝相信江充的诬告治罪戾太子，造成京城流血事件；晋惠帝采纳贾后的谗言废黜愍怀太子，使中原陷入战乱；隋文帝听从独孤皇后的建议废黜太子杨勇，立隋炀帝，最终失去天下。由此可见，废黜太子不能不谨慎。陛下如果一定要这样做，我不敢奉诏。”玄宗不高兴。李林甫起初没有说话，退朝后私下对受宠的宦官说：“这是陛下的家事，何必询问外人！”玄宗犹豫不决。武惠妃暗中派官奴牛贵儿对张九龄说：“有废黜就有提拔，您如果帮助陛下，宰相之位可以长久保住。”张九龄呵斥了牛贵儿，并把他的话告诉了玄宗；玄宗为之动容，因此直到张九龄罢相，太子的地位才得以保全。李林甫日夜在玄宗面前说张九龄的坏话，玄宗逐渐疏远了张九龄。
李林甫引荐萧炅担任户部侍郎。萧炅一向没有学问，曾经在中书侍郎严挺之面前把“伏腊”读成“伏猎”。严挺之对张九龄说：“尚书省怎能容忍‘伏猎侍郎’！”因此萧炅被调出京城担任岐州刺史，李林甫也因此怨恨严挺之。张九龄与严挺之关系友好，想引荐他担任宰相，曾经对他说：“李尚书正受陛下宠爱，你应该去拜访他，与他亲近。”严挺之向来意气用事，轻视李林甫的为人，最终没有去拜访；李林甫对他的怨恨更深了。严挺之先前娶了妻子，后来休了她，这位妻子改嫁给蔚州刺史王元琰，王元琰因贪污罪被三司审讯，严挺之出面为他辩解。李林甫通过身边的人在宫中告诉了玄宗。玄宗对宰相说：“严挺之为罪人说情。”张九龄说：“这是严挺之休掉的妻子，不该再有私情。”玄宗说：“虽然离婚了，却还有私情。”
于是玄宗累积之前的事情，认为裴耀卿、张九龄结党营私；壬寅日，任命裴耀卿为左丞相，张九龄为右丞相，一同免去宰相职务。任命李林甫兼任中书令；牛仙客为工部尚书、同中书门下三品，仍然担任朔方节度使。严挺之被贬为洺州刺史，王元琰流放岭南。
玄宗即位以来，所用的宰相，姚崇崇尚通达，宋璟崇尚法治，张嘉贞崇尚吏治，张说崇尚文学，李元纮、杜暹崇尚节俭，韩休、张九龄崇尚正直，各有各的长处。张九龄获罪后，从此朝廷官员都只求保全自身职位，不再直言进谏。
李林甫想堵塞玄宗的视听，独揽大权，公然召集各位谏官说：“如今圣明的君主在上，群臣顺从都来不及，何必多说话！你们没看见立在宫门前的仪仗马吗？吃着三品的草料，一旦嘶鸣就被赶走，后悔都来不及！”
补阙杜琎曾经上书议论政事，第二天就被贬为下邽县令。从此进谏的道路被断绝了。
牛仙客既然是李林甫引荐的，就只知道唯唯诺诺。但两人都严格遵守规章制度，百官的升迁任免都有固定的程序