八月甲寅日，突骑施派遣大臣胡禄达干前来请求投降，唐玄宗答应了。
御史大夫李适之是李承乾的孙子，凭借才干受到唐玄宗的宠爱，多次为李承乾辩解；八月甲戌日，唐玄宗追赠李承乾为恒山愍王。
八月乙亥日，汴哀王李璥去世。
冬季十月戊申日，唐玄宗的车驾从东都洛阳出发。在此之前，唐玄宗下令明年二月二日前往西京长安，恰逢宫中出现怪异现象，第二天，唐玄宗召见宰相，立即商议返回西京。裴耀卿、张九龄说：“如今农作物还没有收割完毕，请等到仲冬时节再出发。” 李林甫暗中知道唐玄宗的心意，两位宰相退下后，李林甫独自留下，对唐玄宗说：“长安、洛阳是陛下的东西二宫，往来巡幸，何必还要选择时间！即使妨碍了农作物收割，只需要免除所经过地区的租税就行了。臣请求向百官宣布，立即向西出发。” 唐玄宗很高兴，采纳了他的建议。经过陕州时，因为刺史卢奂有良好的政绩，唐玄宗在他的办公场所题写赞语后离去。卢奂是卢怀慎的儿子。十月丁卯日，唐玄宗抵达西京长安。朔方节度使牛仙客，之前在河西任职时，能够节省开支，勤勉工作，仓库充实，器械精良锋利；唐玄宗听说后，非常赞赏他，想要任命他为尚书。张九龄说：“不可以。尚书是古代的纳言，唐朝建立以来，只有前任宰相以及在朝廷内外任职、有德望的人才能担任。牛仙客原本是河湟地区的小吏，如今突然担任朝廷的重要官职，恐怕会让朝廷蒙羞。” 唐玄宗说：“那么只给他增加实际封邑可以吗？” 张九龄回答说：“不可以。封爵是用来奖赏有功之人的。边将充实仓库，修整器械，是日常的工作，不足以作为功劳。陛下奖赏他的勤勉，可以赐予他金帛；分割土地封给他，恐怕不合适。” 唐玄宗沉默不语。李林甫对唐玄宗说：“牛仙客有宰相的才能，担任尚书又有什么不可！张九龄是个书生，不懂得大体。” 唐玄宗很高兴。第二天，唐玄宗又提起给牛仙客增加实际封邑的事，张九龄仍然像之前一样坚决反对。唐玄宗大怒，脸色一变，说：“事情都由你说了算吗？” 张九龄叩头谢罪说：“陛下不知道臣愚笨，让臣担任宰相，事情有不合适的地方，臣不敢不直言进谏。” 唐玄宗说：“你嫌弃牛仙客出身寒微，你又有什么显赫的门第呢！” 张九龄说：“臣出身岭南，孤寒微贱，不如牛仙客出生在中原；然而臣在朝廷任职多年，掌管诰命文书。牛仙客是边疆的小吏，不识字，如果给予他重任，恐怕不符合众人的期望。” 李林甫退朝后说：“如果有才能见识，何必一定要有学问！天子用人，有什么不可以的！” 十一月戊戌日，唐玄宗赐予牛仙客陇西县公的爵位，享受三百户的实际封邑。
起初，唐玄宗想要任命李林甫为宰相，询问中书令张九龄的意见，张九龄回答说：“宰相关系到国家的安危，陛下任命李林甫为宰相，臣担心将来会成为国家的祸患。” 唐玄宗没有听从。当时张九龄正因为文学才华受到唐玄宗的重视，李林甫虽然怨恨他，但仍然假意侍奉他。侍中裴耀卿与张九龄关系友好，李林甫也嫉妒他。这时，唐玄宗在位多年，逐渐放纵奢侈的欲望，对政事感到懈怠。而张九龄遇到事情，无论大小，都坚持自己的意见，据理力争；李林甫则巧妙地窥探唐玄宗的心意，每天都在思考如何中伤张九龄。
唐玄宗还是临淄王的时候，赵丽妃、皇甫德仪、刘才人都受到宠爱，赵丽妃生下太子李瑛，皇甫德仪生下鄂王李瑶，刘才人生下光王李琚。唐玄宗即位后，宠爱武惠妃，赵丽妃等人的宠爱都逐渐消失；武惠妃生下寿王李瑁，受到的宠爱超过其他所有皇子。太子与李瑶、李琚在宫中府邸会面，各自因为母亲失宠而有怨恨的言论。驸马都尉杨洄娶咸宜公主为妻，常常窥探三位皇子的过失，报告给武惠妃。武惠妃哭泣着向唐玄宗诉说：“太子暗中勾结党羽，想要杀害臣妾母子，还指责陛下。” 唐玄宗大怒，将这件事告诉宰相，想要将三位皇子全部废黜。张九龄说：“陛下登基将近三十年，太子和诸王没有离开过深宫，每天都接受陛下的教导，天下的人都庆幸陛下在位长久，子孙繁盛。如今三位皇子都已经成年，没有听说有什么大的过错，陛下为什么要因为没有根据的话，在愤怒的时候，就将他们全部废黜呢！况且太子是天下的根本，不可以轻易动摇。从前晋献公听信骊姬的谗言，杀死太子申生，导致晋国三代大乱。汉武帝相信江充的诬告，治罪戾太子，导致京城流血。晋惠帝采纳贾后的谗言，废黜愍怀太子，导致中原陷入战乱。隋文帝听从独孤皇后的话，废黜太子杨勇，立隋炀帝，最终失去天下。由此看来，废黜太子这件事，不可以不谨慎。陛下如果一定要这样做，臣不敢奉行诏令。” 唐玄宗不高兴。李林甫起初没有说话，退朝后，私下对受宠信的宦官说：“这是陛下的家事，何必询问外人！” 唐玄宗犹豫不决。武惠妃秘密派遣官奴牛贵儿对张九龄说：“有废黜就必定有兴起，您如果愿意帮助，宰相的职位可以长久保住。” 张九龄呵斥了牛贵儿，并将他的话告诉了唐玄宗；唐玄宗为之动容，因此直到张九龄被罢免宰相，太子的