金人大治汴京宮室，勢必敗盟。今元臣、宿將惟張浚、劉錡在，識者皆謂金果南牧，非此兩人莫能當。願亟起之，臣死不恨。

時張浚、劉錡兩人皆為積毀所傷，未有敢顯言其當用者，胡憲獨首言之。疏入，即求去。帝嘉其忠，詔改秩與祠歸。初，胡憲與劉勉之俱隱，後又與劉子翬、朱松交。朱松將沒，屬其子朱熹受學於胡憲與劉勉之、劉子翬。朱熹自謂從三君子游，而事籍溪先生為久。方胡憲之以館職召也，適秦檜諱言之後，胡憲與王十朋、馮方、查籥、李浩相繼論事，太學之士為《五賢詩》以歌之。人始信胡憲之不苟出，而惜其在位僅半年，不究其底蘊云。

當時朝野皆忌用張浚劉錡，以高宗疑其無罪被廢幾二十年，一旦復掌兵柄，恐有不復朝廷驅使之虞。而胡憲因孫道夫使金歸奏金人廢盟入犯之意，因此胡憲自以年老而去日無多，無所畏忌，故上疏言之。

紹興三十一年春正月初十，胡憲以論事不合，自請致仕歸養，因此太學生作詩以頌。隨即，王十朋相繼上疏論劾奸臣貪官，入鎮江屯駐御前諸軍都統制劉寶，少傅、殿帥楊存中等，因此高宗甚為不滿。於是王十朋亦自請祠。

於是，朝廷乃以左迪功郎、守秘書省正字胡憲特改左宣教郎、主管台州崇道觀。胡憲以老乞奉祠，吏部言：“在法，館職到任一年通四考改官。按憲以賀允中薦，累召方起。今到任半年，卻有實歷過十餘考。”故有是命。胡憲時年七十有五矣。三館之士，分韻作詩，共餞其行。

史書謂陳俊卿首先向高宗進言當啟用張浚，理應被太學生認為是當朝賢士之一，可惜太學生們卻不這麼認為。真是奇了怪了。