張浚自隆興元年十二月拜右僕射兼樞密使，是年四月罷，再入相纔五月。初，帝命張浚按視江淮，既出國門，思退遂與右正言尹穡通謀，日夜汲汲，益求所以間張浚者。及王之望等還，思退等因相與隂謀，謂不毁守備，則張浚不可去，和不可成。乃令其黨盛毁守備，一無可恃，而尹穡專主其議，百計毁張浚。督府參議官馮方徧行兩淮，築治城壘，最為勞勩。思退等以其効力尤多，尤惡之，使尹穡論方不當築城費財，馮方遂罷。又論張浚所費國用不貲，張浚奏計督府遣間探給官吏等二年半之費，不及三十萬緍，其餘皆為修城造舟除器招軍用。帝出張浚奏，湯思退、尹穡議屈。於是，始謀更造他事機撼張浚。殿前後軍統制官張深等有勞，軍士安之，俄有旨放罷，而以趙密之子趙廓代之。

張浚至淮西，訪問知狀，奏留張深，而尹穡指張浚為拒命跋扈。湯思退又相與謀，帝眷張浚厚，必未肯遽罷張浚，但先罷張浚都督，則張浚自當引去。尹穡奏論如思退計，而張浚自聞馮方罷，上奏乞罷督府。詔從張浚之請，而張浚亦封章力求還政矣。尹穡連疏詆張浚愈力，左司諫陳良翰奏如張忠勤，人望所屬，不當使去國。帝謂良翰：“本無此事。且當今人材，孰有踰魏公者？卿宜徧諭侍從臺諫，使知朕此意。”侍御史周操疏同良翰議，至是爭論甚力。而陳良翰、周操隨即罷黜。然是時張浚留平江虎丘，致政之章已八上矣。帝察公懇誠，欲全其去，四月二十二日，制除公少師、保信軍節度使、判福州。而思退等遂决棄地求和之議。張浚力辭恩命，帝不許。至五月，除醴泉觀使。前雖議四月幸建康，至是，而張浚已去國矣。

畢阮《續資治通鑑》“孝宗隆興二年四月條”曰：

孝宗初召張浚，嚮用之意甚殷。既曰“倚魏公如長城”，又曰“雖乞去之章日上，朕決不許”。賜書又有“須與卿終之”之語。若深相倚任者，何以福州之命去，曾無難色？及虞允文宣撫四川，且戒以無效張浚迂闊，又若夙所憎疾者。然何前後矛盾若此？葢其始不過博取恢復美名，藉以虛張聲勢。後覺事竟難成，遂無所顧惜其情，遂不覺流露，直是無定見耳。