信挽留他。高斯得又荐举李日希颜等五人。
高斯得被加官为直秘阁、湖南转运判官,改任尚右郎官,他还没到任,又改为礼部郎中。高斯得上疏透彻地论述时事,他被改为权左司,极力推辞,皇上又任命他兼任侍立修注官。他上疏讲水灾说“:希望陛下马上停止修建新的寺院,赶紧召回那些违反陛下心意的大臣们,遏止邪说,主张善良,谨慎地使用刑法,爱惜士大夫,压制和疏远奸邪的官员,阻断他们对朝政的干扰,这样才能挽回天意,招来和气。”正巧左司徐霖被贬斥,皇上担心给事中赵汝腾争辩逐走徐霖的事,就调赵汝腾担任翰林学士,赵汝腾听到这个任命后就辞官。高斯得说“:赵汝腾有一世的名望,是当朝很重要的老臣,很容易就辞去官职,陛下也就像丢弃无用之物而丢弃了他,朝内外十分惊异,将要出现贤德的人力争不胜而离去,奸邪的人增加勇气纷纷而来的局面。陛下改元才几个月,就改变了最初的想法,我深为陛下惋惜。”
当时上封事讲朝政得失的很多,有的人讨厌这种事,认为是喧闹,就说“:空话只能扰乱人心,对国事没有好处。”高斯得在轮次奏对时,对皇上说:“众大臣的话,对上是和圣明的君主切磋,对下是磨砺大臣,对内是摧压奸邪,对外是阻止寇盗,能认为这是对朝政没好处吗?认为大臣讲朝政得失是空话的讥议,追求名声的说法的人,是想把正人君子一网打尽,这些话容易说,灾祸却难说,这是正人君子离开或者留下的时机,国家安危的时候,陛下不能不深深地留意啊。”监察御史萧泰来上奏请求罢免高斯得。
过了一年,高斯得以直宝文阁的身份为泉州知州,他极力推辞,被升为福建路计度转运副使。朝廷施行让百姓自报田赋数目,由官府注册核实的自实法,高斯得说“:据《史记》记载,秦始皇三十一年,下令百姓自实田。陛下统治现在正好是三十一年,等来日把这写入史书,自实的名正和秦代相同。”丞相谢方叔十分羞愧,因此被罢去相位。董槐担任宰相时,召高斯得为司农卿。程元凤担任宰相时,高斯得改任秘书监。在丁大全担任宰相时,监察御史沈炎弹劾高斯得因闽漕交承钱物一事,把郡中的官吏送到天府处治,鞭打致死好几个人。从前,吴自性一案,高铸作为首犯被处以黥刑发配到广州,高铸拿出财产作为不去广州的补偿,这时担任宰相府的管家,唆使沈炎揭发高斯得。京尹顾岩附会这一案件,安吉守臣何梦然受命处理这件事,对高斯得倍加凌侮,高斯得毫不屈服,他们最终一无所得。丁大全被贬后,朝廷认为他犯有用人不当的罪过,于是就杀了高铸。高斯得接受了浙西提点刑狱的任命,沈炎,是浙西人,他在皇上面前哭着请求改派高斯得到别处任官,高斯得被改为浙东提举常平。皇上的诏命下达后,被给事中章鉴封驳归还。高斯得闭门不出,编著《孝宗系年要录》。
天上出现彗星,高斯得应皇上的诏命上封事说:“陛下专门任用一个宰相,诚心把政事委托给他,如果用人得当,就应该是符合天意,不发生灾害。然而庚申、己未两年,发生水灾,浙西百姓死的数百千万。连年干旱,田野萧条,物价暴涨,人命如线。如今妖星突然出现,变故不小。如果不是大失人心,怎能招致上天如此暴怒。”高斯得封事献上后,贾似道藏起来没交给皇上。
度宗即位后,高斯得被召用为秘书监,又被弹劾罢官。高斯得再任秘书监,多次辞官都没被允许,他被提升为起居舍人兼国史院编修官、实录院检讨官兼侍讲。他在为皇上讲读时,关于天命去留的时机,人心得失的原因,前代治乱的缘故,祖宗创业的艰难,每次都一定要反复讲述。高斯得兼权工部侍郎,兼同修国史、实录院同修撰,仍兼侍讲。他进献《高宗系年要录纲目》,皇上认为这很好。大元军队攻下襄阳,高斯得上疏议论国事,十分切中要害,皇上欣然采纳,他升为工部侍郎。高斯得多次请求到地方任职,他以显文阁待制的身份,担任建宁府知府。