杨子琳战败返回泸州后，招集逃亡之人，得到数千人，沿着长江向东行进，声称要入朝；涪州守捉使王守仙在黄草峡埋伏军队，被杨子琳全部擒获，杨子琳在忠州进攻王守仙，王守仙仅自身逃脱。杨子琳于是杀死夔州别驾张忠，占据夔州城。荆南节度使卫伯玉想与他结盟作为援助，把夔州许诺给他，并为他向朝廷请求。阳曲人刘昌裔劝说杨子琳派遣使者前往京城请罪，杨子琳听从了他的建议。乙巳日，任命杨子琳为峡州团练使。
起初，仆固怀恩死后，代宗怜惜他有功劳，将他的女儿接入宫中，收为养女。回纥请求将她立为可敦，夏季五月辛卯日，册立她为崇徽公主，嫁给回纥可汗。壬辰日，派遣兵部侍郎李涵护送她前往回纥，李涵上奏请求任命祠部郎中虞乡人董晋为判官。六月丁酉日，公主辞行，抵达回纥牙帐。回纥人前来对李涵说：“唐朝约定与我们通商，马匹已经送到，却没有按时支付货款，我们要向使者索取。”李涵感到畏惧，不敢回应，看着董晋，董晋说：“我们不是没有马匹才与你们通商，给你们的赏赐难道还不够多吗！你们的马匹每年运来，我们都数着皮张支付货款。边境官吏请求追查问责，天子念及你们有功劳，所以下诏禁止侵犯你们的利益。各个部族畏惧我大唐与你们结盟，都不敢与你们计较。你们的父子安宁、牲畜马匹繁衍兴旺，不是我们谁能做到的！”于是回纥众人都围着董晋下拜。随后又一起向着南方排列下拜，都举起双手说：“不敢对大唐有二心。”
戊申日，王缙上表辞让副元帅、都统、行营使等职，代宗同意了。
辛酉日，郭子仪从河中迁移到邠州，他的精锐部队都跟随前往，其余士兵派副将率领，分别驻守河中、灵州。士兵们长期在河中安家，很不愿意迁徙，常常从邠州逃回；行军司马严郢主持河中留后事务，将逃兵全部抓获，诛杀了他们的首领，军心才安定下来。
秋季九月，吐蕃入侵灵州；丁丑日，朔方留后常谦光击败了吐蕃军队。
河东兵马使王无纵、张奉璋等人依仗功劳骄横傲慢，认为王缙是书生，轻视他，多次违反军令。王缙奉诏发兵前往盐州防备吐蕃秋季入侵，派遣王无纵、张奉璋率领三千步兵骑兵前往。张奉璋逗留不前，王无纵借口其他事情擅自进入太原城；王缙将他们全部擒获斩首，连同他们的同党七人，将领中凶悍顽劣的人几乎被清除殆尽，军府才得以安定。
冬季十月，常谦光上奏说吐蕃入侵鸣沙，军队首尾长达四十里。郭子仪派遣兵马使浑瑊率领五千精锐士兵援救灵州，郭子仪亲自率军前进到庆州，听说吐蕃撤退，才返回。
黄门侍郎、同平章事杜鸿渐因病辞位，壬申日，代宗同意了；乙亥日，杜鸿渐去世。杜鸿渐病重时，命令僧人为他削发，遗嘱要求建造佛塔安葬。
丙子日，任命左仆射裴冕为同平章事。起初，元载担任新平尉时，裴冕曾经举荐过他，所以元载举荐裴冕担任宰相，也因为他年老多病容易控制。裴冕接受任命时，跪拜舞蹈不慎跌倒在地，元载快步上前扶起他，代替他致谢词。十二月戊戌日，裴冕去世。
大历五年庚戌（公元770年）
春季正月己巳日，羌族首领白对蓬等人各自率领部落归附唐朝。
观军容宣慰处置使、左监门卫大将军兼神策军使、内侍监鱼朝恩，专门掌管禁军，受到的宠信和任用无人能比，代宗常常与他商议军国大事，权势倾动朝野。鱼朝恩喜欢在大庭广众之下肆意谈论时政，欺凌侮辱宰相，元载虽然能言善辩，也只能拱手沉默不敢回应。
神策军都虞候刘希暹、都知兵马使王驾鹤，都受到鱼朝恩的宠信；刘希暹劝说鱼朝恩在北军设置监狱，让街市上的无赖少年罗织告发富贵人家，诬陷他们有罪，将其逮捕关押在地牢中，严刑拷打迫使他们认罪，没收家产归入军府，同时分赏给告发和抓捕的人；监狱设在宫中禁地，没人敢告发。鱼朝恩每次上奏事情，都以必须获准为目标；朝廷政事有他不参与的，就愤怒地说：“天下的事情有不由我决定的吗！”代宗听说后，因此感到不满。
鱼朝恩的养子鱼令徽还年幼，担任内给使，穿绿色官服，与同僚发生争执，回家后告诉了鱼朝恩。第二天，鱼朝恩拜见代宗说：“臣的儿子官职低微，被同僚欺凌，请求陛下赐给他紫色官服。”代宗还未回应，有关部门已经拿着紫色官服来到面前，鱼令徽穿上后叩拜谢恩。代宗勉强笑着说：“孩子穿紫色官服，非常合适。”内心却更加不平。
元载揣摩到代宗的心意，趁机上奏说鱼朝恩专横跋扈、图谋不轨，请求除掉他。代宗也知道天下人都怨恨鱼朝恩，于是命令元载谋划对策。鱼朝恩每次入宫上朝，常常让射生将周皓率领一百人护卫自己，又让同党陕州节度使皇甫温在外掌握兵权作为外援；元载都用重金贿赂他们，因此鱼朝恩的阴谋密语，代宗都一一得知，而鱼朝恩却没有察觉。
辛卯日，元载为代宗谋划，调任李抱玉为山南西道节度使，任命皇甫温为凤翔节度使，表面上加重他们的权力，实