人为张说之义所感,安下心来。后来,王聈去讨伐兰池的叛胡康待宾,皇帝诏令张说去与王聈一同商量对策。当时,党项羌也连兵来攻银城,张说率领一万人马出合河关乘其不备,打得他们大败,直追赶到骆驼堰。羌人胡人自相猜疑,夜间自相残杀。康待宾逃入铁建山,其他的人也都逃散。张说招纳党项,让他们回到原地。副使史献建议杀尽党项,张说不同意,向皇帝奏请设置麟州以安顿羌人。
就在这一年,召张说回京,任兵部尚书、同中书门下三品。张说要让给宋瞡、陆象先,未蒙允许。第二年,诏令张说为朔方节度大使,亲赴五城,督各州兵马,时常巡边。那时,庆州方渠降胡康待宾的余党康愿子又叛,自称可汗,掠夺牧马,涉河出塞。张说督兵进讨,追到木般木山将康愿子抓获,且捕得叛胡三千人。
于是建议将河曲六州的残胡五万多人迁入唐州、邓州、仙州、豫州等地。将河南朔方之地空出来。张说论功受赐实封三百户。以前,边镇的戍兵常有六十多万。
张说认为太平之时戍兵无事干,建议撤销二十万,让他们回家耕种。天子怀疑此建议的可行性,张说说:“边兵虽多,但各将帅都只管拥兵自卫,役使兵丁营私。
真能制敌,不在兵多。以陛下之英明威武,四夷都能臣伏,不用担心裁减人员会招来寇贼。臣请以臣全家百口人做担保。”皇帝于是同意。当时宿卫的兵贫弱,轮班休假时很多都逃跑了。张说建议招募壮士,修改条令,减少劳役。不到十天,选得精兵十三万,分别补给各卫,增强京师的守卫。这就是后来称为“弓广骑”的卫队。
皇帝从东都回京师,就便到达并州。
张说见皇帝时说:“太原,是国家王业的发祥地,陛下巡视到此,振威耀武,并建碑纪德以表达永恩的意思。由河东入京师,那里有汉武帝时为祭祀后土的月隹上祠,这种祭祀后土之礼长久未行了,历代都没能举行。愿陛下能振兴典礼,为三农祈福。这是恩赐万民之福。”皇帝接受他的建议,过月隹上祠时祭祀了后土。回京后,升张说为中书令。
张说又倡议封禅,受诏令与各儒官草拟封禅时的礼仪程序。旧仪程有不合适的,张说很多都加以改正。皇帝召张说及礼官学士赐宴集仙殿,说:“我今日与各位贤者同宴于此,宜改名为集贤殿。”于是下制,改丽正书院为集贤殿书院,任张说为集贤院学士,管理院事。封禅回来后,任张说为尚书右丞相兼中书令。皇帝诏令张说撰写《封禅坛颂》,刻在泰山,以夸成功。当初,左丞相源乾曜本不同意封禅,而张说再三要求,于是对张说有了看法。及至登山,应该跟随上山的执事官,张说都点他所喜欢的人,而且都超级升为五品。随行的兵士,只加功勋而没有赐物。众人因此而埋怨张说的专权。
御史中丞宇文融先献策,请收集天下的游民及籍外剩田,设置十道的劝农使,分往郡县检察。张说怕他们扰人不便,多次建议不这样做。这时,宇文融奏请吏部设置十铨,由宇文融与苏廷页等分管考察遴选官员之事。宇文融有所建议奏请,张说常常贬抑他。宇文融心中怀恨。于是与崔隐甫、李林甫共同揭发检举张说“招引术士王庆则夜间祈祷,又招引僧人道岸刺探时事,其亲信张观、范尧臣依仗张说的权力,收贿卖权,擅自给太原九姓羊钱一千万”揭发的内容极为丑恶,皇帝看了大怒,诏令源乾曜、崔隐甫及刑部尚书韦抗,就在尚书省审讯张说,还调出金吾兵包围了他的家。张说的哥哥左庶子张光到朝堂割耳朵鸣冤。
皇帝派高力士去看,见张说蓬头垢面,坐在草席上,他的家人用瓦钵子装着粗米饭及腌菜给他吃,作为自罚。高力士回报了情况,说:“张说往日一向忠心,且与国有功。”皇帝也有些同情他。于是罢了张说中书令之职,诛杀了王庆则等人,牵连的还有十多人。张说既罢了政事,就在集贤院专修国史。张说还上书乞停止右丞相一职,皇帝不许。每遇有军国大事,皇帝总要派人去咨问。崔隐甫等人怕皇帝还会复用张说,就巧文诋毁他,平时不喜欢张说的人又写了篇《疾邪篇》。
皇帝知道后,就诏令张说退休。
张说刚开始任宰相时,皇帝打算讨伐吐蕃,张说秘密奏请允许吐蕃讲和,使边境得以休养生息。皇帝说“:我等王君耯来商量。”张说出来后告诉源乾曜说:“王君耯贪功心急,定会用兵取利。他一进去,我的建议一定不被采纳的。”后来,王君耯在青海西大破吐蕃兵。张说估计王君耯会败,于是将辒州的斗羊献给皇帝,上表说:“假如羊能说话,它必定会说‘:斗而不止,当即就有斗死的。’它所以能活命,全赖至仁不残,量力取欢即止。”皇帝明白他的意思,收下羊,赐彩千匹。后来,瓜州失守,王君耯死。
开元十七年(729),张说又为右丞相,升左丞相。到任之日,敕令所司供帐,设音乐,由大内拿出酒食,皇帝还为之赋诗。不久,任开府仪同三司。开元十八年(730)死,终年六十四岁。皇帝为之停止元旦的正会。追赠太师,赐谥为“文贞”群臣驳议,以为不称“文贞”
皇帝亲自为他写神道碑,御笔赐谥。这才最后定下。