李林甫为唐宗室后裔，祖上历任原州长史、扬州都督府参军。通音律，初任千牛卫直长，得舅父姜皎提携。开元初任太子中允，源乾曜因其侄孙光乘与姜皎联姻，拒林甫任郎中，改授太子谕德。
开元十四年宇文融举荐林甫任御史中丞，兼刑部、吏部侍郎。时武惠妃专宠，其子寿王、盛王得帝偏爱，太子李瑛遭冷遇。林甫勾结宦官向惠妃示忠：“愿护寿王“，谋求政治投机“惠妃感其恩。初裴光庭娶武三思女，武氏狡黠多谋，与林甫私通。宦官高力士出自武家。光庭卒，武氏托力士荐林甫代侍中，力士未敢奏。玄宗命萧嵩选相，萧嵩荐尚书右丞韩休，帝许之。力士泄于武氏，林甫告韩休。韩休拜相后谢林甫，因与萧嵩不睦，荐林甫有相才，武惠妃暗助，遂迁黄门侍郎，帝宠益深。
廿三年裴耀卿为侍中，张九龄为中书令，林甫拜礼部尚书、加光禄大夫。林甫外柔内狡，善窥上意。林甫深交宦官妃嫔察帝动向，奏对皆合圣意。他暗害异己提拔亲信，后任户部、兵部尚书掌朝政。
太子因母失宠生怨，杨洄告于武惠妃。玄宗欲治罪，张九龄谏言太子乃国本，未见其过不可轻废。玄宗欲赐封牛仙客，张九龄谏不可。李林甫退下后对宦官：“天子家事须问外人？“后密告仙客。次日仙客泣辞封赏，玄宗仍欲授尚书职，九龄谏。帝怒问：“卿要作主？“九龄：“臣居相位有不妥当言。违逆圣意当万死“玄宗讥问其出身，九龄答：“臣本边鄙寒士，仙客乃河湟小吏，蒙陛下擢拔掌诏书“李林甫认为用人重才即可，玄宗不悦。
严挺之救前妻夫王元琰获罪，张九龄为其辩解。玄宗认定二人有私，罢张九龄、裴耀卿相职，贬挺之为刺史，流放元琰。李林甫接掌朝政。九龄任中书令，牛仙客拜工部尚书、同平章事。周子谅弹劾仙客，玄宗怒杀之。林甫指子谅为九龄举荐，九龄被贬荆州长史。
玄宗采林甫谏废太子瑛为庶人，薛锈流放，三人皆亡，玄宗封林甫为晋国公、仙客豳国公。武惠妃病逝，太子位悬。林甫请立寿王，玄宗言忠王仁孝。林甫因拥立太子事生惧，伺机构陷太子。
林甫执掌中枢兼领节度使，累迁右相、尚书左仆射，六载加开府仪同三司。宫中赏赐无算。与同宗李适之议政时因其言不中要，致适之罢相。荐阿附者陈希烈共理朝政，然希烈唯诺不敢与论，政事决于林甫。进奏定先贿赂天子左右，侦察皇上旨意，保皇上在位多年倦于处理国事，得林甫后委重任，自此拒谏宴乐，
林甫府第田产膏腴，获赐薛王别墅及歌舞伎队，宰相权势开元以来无出其右，理政谨严立法度，然沉迷权位，遇名望稍显者必暗设阴谋。计中伤他。起初韦坚进朝廷，李林甫荐韦坚任要职，表面结恩，实欲倾覆，密令杨慎矜监视其过。上元夜太子私会韦坚，帝怒贬韦氏。林甫诬李适之、裴宽、韩朝宗结党，后忌杨慎矜势盛，擢王鉷为御史，使诬告慎矜邪术乱纪，灭其族。杨国忠凭外戚身份得宠，林甫任其为御史查刑案，时值杜良娣父案发...不和，柳勣写匿名信诬告有邻违法，拉上李邕作证，天子令王鉷与国忠审问。王鉷、国忠附和林甫，奏报天子赐有邻自尽，废良娣，诛李邕等数人。林甫阴毒。
林甫因未助太子，屡兴狱欲构陷。太子谨无过，谗言未逞。又使魏林诬告王忠嗣私结太子，玄宗斥其妄，仍贬忠嗣。天宝八载赵奉章揭林甫十罪，事泄被捕杖毙。
十载林甫任安西大都护、朔方节度使，旋兼单于副大都护。十一载因朔方副使李献忠叛，林甫辞让朔方节度使，荐安思顺代之。唐自武德以来，蕃将如阿史那社尔、契苾何力皆忠勇有谋，朝廷多遣重臣兼节度使节制。开元年间张嘉贞等皆以节度使入朝执政，林甫为固相位奏：“文士任边将怯战，宜用寒族蕃将，彼善战无党援“帝纳其言，遂以思顺代镇朔方。自此高仙芝、哥舒翰任大将，林甫觉其不通文墨难入相，
林甫恃显贵，服饰奢靡。胸无点墨，嫉贤妒能，令郭慎微等代笔文书。掌吏部时见判词“杕杜“二字，误读“杖杜“问韦陟，陟不敢言。姜度妻生子，林甫书贺“闻有弄獐之喜“，宾客掩口忍笑。
杨国忠初入朝，林甫轻其才未嫉；及国忠任御史中丞权倾朝野，恶之。时国忠兼剑南节度使，值南蛮犯边，林甫奏请国忠赴任。帝准奏，然眷宠正隆，赠诗饯行暗含拜相之意，嘱曰：“卿赴蜀理军务，屈指待卿归“林甫大恚。时林甫已病笃，十月抱病随驾华清