胡昉、杨由义到宿州金营后，通报了南宋朝廷不同意割让“海、泗、唐、邓四州”的意思，金军元帅仆散忠义责怪南宋失信，将胡昉等人囚禁，胡昉等坚贞不屈。
仆散忠义将议和过程对金国皇帝完颜雍做了汇报，完颜雍倒也大气，道：“出使者有何罪过？”命仆散忠义将胡昉放回。
公元1164年二月底，胡昉从金军大营回国，赵眘听闻胡昉曾被扣押，对张浚道：“和议不成，这是天意，此后可一心一意抗敌！”
三月初一日，赵眘下诏，命张浚视师江淮，张浚奏请赵眘临幸建康坚定前线将士信心，汤思退听闻，唯恐赵眘真的再打下去，奏道：“好战之人，不知战乱厉害关系，只会大言误国，以此获得美名。宗社大事，岂能形同儿戏？”又奏请赵眘禀报赵构后再定夺。
可能是汤思退说要奏请赵构的意见触动了赵眘，赵眘在汤思退的奏章上愤怒批示道：“金国如此无礼，你还想议和。今日形势非秦桧时所比，你的提议，比秦桧都差远了！”汤思退大骇，假装上疏要退休，实际暗中和主和派联合诬陷、诋毁张浚。
张浚还没意识到危机，意气风发的到江淮视师。大肆招揽山东、淮北忠义之士充实建康、镇江两军，共计有一万二千余人；万弩营也扩招一万多淮南、江西壮士，让陈敏统领，巩固泗州；增置江淮战舰，修备各军弓矢器械；因投降的萧琦是契丹贵族，沉勇有谋，张浚让其传檄在金国的契丹将领，约为内应。
张浚紧锣密鼓备战，汤思退也处心积虑拆台。王之望是张浚都督府参赞军事，汤思退让他出面上奏赵眘：“兵少粮乏，楼橹器械没有备齐！”又说，派四万之众守泗州，恐怕不妥当！搞得赵眘迷糊了，心中犯嘀咕：张浚，你在前方咋搞的？这只是汤思退的阴招之一；
汤思退又让右正言尹穑，上疏弹劾张浚跋扈，这就击到了张浚的要害，张浚性格一贯如此，因为德高望重，无人提及而已，尹穑开言，赵眘自然警惕；尹穑还弹劾张浚铺张浪费，国用无度，这又点到张浚死穴，但凡打仗，岂有不大用钱的道理？
汤思退还让人攻击都督府参议官冯方，致使冯方被罢；又让人弹劾张深守泗州，只接受张浚将令，不接受朝廷指令，让赵廓接替，是为拒命；户部侍郎钱端礼，上疏阴阳怪气地道：“两淮名为备守，守未必备；名曰治兵，兵未必精！”又道：“兵者，凶器，请以'；符离之败'；为戒，早定国策！”
张浚埋头备战，却被大后方自己人搞得心灰意冷，便接连八次上疏请求退休，四月，张浚被罢免宰相职务，江淮都督府也撤了，因而，赵眘的态度又转向了议和。六月，朝廷命湖北、京西制置使虞允文放弃唐州、邓州，向金军示好，虞允文不奉诏。七月，汤思退采取壶底抽薪的办法，召虞允文回京，命户部尚书韩仲通代替虞允文为湖北、京西制置使。
汤思退急于议和，又自毁长城，命两淮撤去警备：停止修筑寿春城；解散万弩营；终止修建海船；拆毁御敌水柜；不封赏有功将士；撤除海、泗、唐、邓四州的卫戍。总之，汤思退的做派，我们又看到了另外一个秦桧。
张浚听到自己的劳动成果被汤思退毁于一旦，忧心成疾，于八月二十八日病逝。享年六十八岁。赵眘赠其太保，后又加赠太师，谥号“忠献”。
二十九日，赵眘派宗正少卿魏杞为金国通问使，出使金国议和。出发前，赵眘当面告诫道：“你去金国任务，一是为国正名；二是让金国退军；三是，减免岁币；四是不遣还'；归正人'；！”魏杞可能事先做好了功课，提出了十七个问题，赵眘都一一圆满答复。
最后魏杞对赵眘道：“臣奉命出使敌国，岂敢不用心为陛下办事？只怕金国贪得无厌，假若如此，请陛下速速发兵抗敌！”
汤思退唯恐和议不成，又暗中派孙造到金军大营，做什么事呢？汤思退请金军派重军渡过淮河，逼赵眘议和，这就是里通卖国的行径了。赵眘闻金军进逼，先命王彦率军渡江，屯兵昭关；再命汤思退都督江淮军马，可两淮的守备是汤思退下令撤除的，因此还利用尹穑弹劾处分了二十多位不肯撤防的将领，此时让他到江淮都督，前线将士还不把他剁为肉酱；再者，金军是他汤思退“请”过来的，现在让他领头去抵抗金军，汤思退怎么敢去？
汤思退誓死不从命，赵眘无法，只得请出老将杨沂中，任命他为同都督，都督江淮军马，钱端礼、吴芾并为都督府参赞军事，暂时应付局面。
佐料：王之望是襄阳人，有文艺才干，秦桧当权，王之望落落不合，世人都说他有操守。此前向上疏赵构指出，岳家军、韩家军、张家军有各自为战、尾大不掉的隐患，就是这位王之望先生。
赵眘即位，史浩提议让吴璘撤出德顺军，川陕宣谕使虞允文不同意，赵眘便让王之望代替虞允文为川陕宣谕使，向吴璘传撤军手诏，导致吴璘撤军大败。
可能是这次事故让王之望对战争感到了害怕，担任江淮都督府参赞军事时，他上疏赵眘道：“人主论兵应承天意，臣观天意，南北之形已成，并不能相互并吞。我们不可渡过淮河向北，犹如敌军不可跨越长江而南。不如移攻战之力而自守，然后随机应变！”王之望的观点，和汤思退很对眼，因此，汤思退推荐他为金国通问使。