不过，不管高宗多么委曲求全，都无法得到一世安宁。1161年，金国皇帝完颜亮单方面将“绍兴和议”撕毁，发动大军南下攻打南宋。这一回，高宗依旧坚持求和，结果引来了南宋军民的极度不满。在采石之战中，宋军在虞允文的统率下，成功击退了金军，粉碎了金军南侵的计划。不久之后，高宗在舆论的压力下，宣布让位于赵昚，即宋孝宗。
高宗生平只有一个儿子，名叫赵敷，但赵敷七岁就已夭折，高宗为此痛哭不止。因为高宗早年四处流亡，早已丧失了生育能力，所以后来便从宗室之中抱养了赵昚。赵昚是太祖皇帝赵匡胤的第七代孙子。南宋的皇帝绝大多数都昏庸无能，唯独赵昚较有作为。高宗选择他作为皇位继承人，也算是最后为南宋做了一件好事。
此后在南宋的朝堂之中，投降派的势力越来越大，抗战派官员根本就没有立足之地。年轻气盛的太学生对此深感不满，其中有位名叫张伯麟的太学生写道：“夫差，你的父亲是被越王所杀，难道这不共戴天的杀父之仇，你已经不记得了吗？”高宗知道这件事以后，不由得怒火冲天，竟将张伯麟发配充军。
在宋军节节胜利之际，高宗与秦桧狼狈为奸，将岳飞等三名抗金大将召回京城，收回兵权，随后便开始与金国正式进行和谈。在和谈的过程中，南宋政府一味妥协退让，几乎对金国有求必应，最后双方在金国签订了“绍兴和议”。和议的内容如下：第一，南宋向金国称臣，金国册封赵构为南宋皇帝；第二，宋金两国重新划分国界，东起淮河中流，西至大散关，以北属于金国的领土，以南属于南宋的领土，南宋将唐州和邓州割让给金国，并将商州和秦州的大部分割让给金国；第三，南宋每年向金交纳大量岁币。
“绍兴和议”是南宋与金国签订的丧权辱国的和约。在和约签订之前，由岳飞统领的宋军在战场上占据着绝对的优势地位，甚至已经夺回了北宋的都城开封城。金军名将兀术被逼得不断退让，骁勇善战的岳家军更令金军闻风丧胆。如果不是高宗懦弱，任由南宋朝政被秦桧这个奸臣把持，那么岳飞极有可能会率军一路高歌猛进，收复中原失地。
宋高宗赵构在乱世之中登基，此前“靖康之变”的耻辱没有让他对金人恨之入骨，却让他谈“金”色变，患上了严重的“恐金症”。高宗在位三十六年，自始至终都站在投降派这边。不管宋军在与金军作战的过程中究竟是占据优势还是劣势地位，都无法影响到高宗对金国卑躬屈膝的态度。假如不是这样，他也不会与坚决主张投降求和的秦桧一拍即合。
除此之外，金国还坚持要南宋将抗金名将岳飞处死，秦桧主动充当了这名刽子手，而高宗对此并无异议。“绍兴和议”用南宋巨大的牺牲，换来了宋金之间二十年的和平。
