就在这时，金世宗派大将纥石烈志宁率五万大军前来反攻。纥石烈志宁是金国名将，曾随完颜亮南征，作战极为凶悍。
李显忠得知金兵来势汹汹，连忙派人请邵宏渊合兵守城。邵宏渊却按兵不动，还说：“天气炎热，士兵们都累了，不如等凉快些再出战。”
李显忠无奈，只得独自率军迎敌。六月十三日，宋金两军在宿州城外的符离集展开决战。
金兵首先发起进攻，上万骑兵如潮水般涌来。李显忠指挥宋军依托壕沟和城墙抵抗，用神臂弓和床子弩射杀金兵，一时间尸横遍野。
纥石烈志宁见硬攻不行，便改变战术，分兵绕到宋军侧后，企图包抄。李显忠临危不乱，亲自率精锐骑兵反击，杀退金兵。
双方从清晨战至黄昏，杀声震天动地。宋军虽然勇猛，但兵力悬殊，又孤军奋战，渐渐有些支撑不住。李显忠派人再次催促邵宏渊出兵，邵宏渊却在中军帐里喝酒，还对部下说：“你们看，李显忠快要败了吧？”
副将虞允文（此虞允文非采石矶之虞允文，乃同名将领）实在看不下去，苦苦哀求：“邵都统，再不出兵，宿州就保不住了！”
邵宏渊一拍桌子：“保不住就保不住！这宿州本来就该我来打，让他李显忠抢了功劳，现在活该！”
就在邵宏渊按兵不动之际，李显忠的防线终于被金兵突破。纥石烈志宁亲率铁浮图冲击宋军中军，李显忠虽奋力抵抗，却独木难支，部下开始溃散。
“败了……败了……”宋军士兵哭喊着向后撤退，宿州城顿时陷入混乱。
李显忠眼看大势已去，只得率军突围。他回头望着熊熊燃烧的宿州城，泪水夺眶而出：“我李显忠为大宋出生入死，没想到竟败在自己人手里！”
符离之战，宋军大败，伤亡数万人，粮草器械损失殆尽。这一战，不仅丢掉了刚收复的宿州，更让北伐的军心彻底瓦解。
符离之败的消息传到扬州，张浚气得当场吐血。
“邵宏渊！你这个误国奸贼！”他捶打着桌子，须发皆张，“若不是你按兵不动，何至于此！”
幕僚们连忙上前搀扶：“都督息怒，当务之急是收拾残局，防备金兵南下。”
张浚长叹一声，无力地坐下：“残局？这仗还怎么打？军心已散，士气已堕，都是我的错，我不该轻信邵宏渊……”
其实，符离之败的原因远不止将不和。
首先，张浚虽然忠心可嘉，但他的军事才能实在不敢恭维。早在建炎四年（1130年），他就在富平之战中大败，导致陕西沦陷。此次北伐，他又犯了分兵冒进的错误，没有集中优势兵力，反而让李显忠和邵宏渊各自为战，给了金兵各个击破的机会。
其次，南宋朝廷内部主和派势力依然强大。宰相汤思退等人早就反对北伐，暗中与金国勾结，故意拖延粮草供应，散布不利言论，动摇军心。符离战败后，他们更是趁机发难，要求严惩张浚，与金议和。
再者，宋孝宗虽然支持北伐，但他缺乏坚定的决心和政治手腕。当战事顺利时，他意气风发；一旦受挫，就摇摆不定，甚至听信主和派的谗言，开始怀疑张浚。
最后，也是最根本的原因，经过绍兴和议后的二十年“和平”，南宋军队的战斗力已经大不如前。岳飞、韩世忠等老将凋零，新一代将领缺乏实战经验，士兵们也久疏战阵，面对金兵的精锐骑兵，自然难以抵挡。
符离战败后，主和派终于找到了借口。
汤思退等人联名上书，要求罢免张浚，与金议和。他们甚至暗中派人去金国，透露南宋的底线：“只要金人肯议和，一切条件都好商量。”
金世宗得知南宋战败，态度更加傲慢，提出了比绍兴和议更苛刻的条件：宋必须割让海、泗、唐、邓、商、秦六州，每年纳银20万两、绢20万匹，宋帝必须对金帝称“侄”，而不是“臣”。
“称侄？”孝宗气得将奏疏摔在地上，“这与称臣何异？朕不甘心！”
张浚也上书反对：“陛下，金人无信，若再议和，后患无穷！臣愿以余部守江淮，与金人决一死战！”
但孝宗此时已经心灰意冷。符离之败让他看到了南宋军队的虚弱和朝廷的分裂，他知道再打下去，只会输得更惨。
“张相公，”孝宗无奈地说，“朕知道你忠心，但……罢了，你还是回临安吧。”
张浚知道大势已去，回到临安后，郁郁寡欢，不久便病逝了，享年68岁。临终前，他留下遗书：“吾尝相国，不能恢复中原，雪祖宗之耻，即死，不当葬我先人墓左，葬我衡山下足矣。”
张浚一死，主战派失去了主心骨。孝宗最终被迫接受了金人的条件，于隆兴二年（1164年）签订了“隆兴和议”。
和议规定：宋帝对金帝改称“侄皇帝”，金帝对宋帝称“叔皇帝”；宋割让