由于穆宗行为荒诞不经，徐阶经常劝阻他，所以穆宗十分讨厌他。徐阶也很失望，于是上疏请求退休。正好给事中张齐因为私人恩怨弹劾他。于是穆宗乘机允许他退休回家。朝中百官纷纷上奏章请求留下徐阶，但是穆宗说什么也不同意。

嘉靖帝朱厚熜死后，徐阶起草遗诏，将大礼议中因反对嘉靖帝而获罪的大臣全平反，存者招用，死者优恤。诏书颁布的那天，许多大臣激涕零。徐阶执政期间，还减轻百姓负担，清理盐税。景王死后，他上奏将景王霸占的陂田数万顷给了百姓，使老百姓欣鼓舞，奔走相告。他还废除朝中的许多浪费项目，尤其是皇帝信奉教的开支。他的法，得到朝中上下的拥护，人们称他为“名相”

徐阶继任首辅之后，大力革除严嵩弊政，十分注重选，他先后举荐拱﹑张居正等人内阁。他十分惜人才，大力营救因上疏指责皇帝过失而被定死罪的主事海瑞。他还十分勤政，凡是皇上给的任务，即使一夜不睡，也要准时完成，因此他更得嘉靖的赏识。同时，他还经常劝说皇帝停止动辄捕杀边镇大臣的法，缇骑因此省减，诏狱渐少。后来因为指挥明军抵挡蒙古骑兵南下有功，升为建极殿大学士。

住，嘉靖帝很不乐意。然后问徐阶，徐阶猜透了嘉靖的心思，于是建议用被烧毁殿的剩余材料，营建新的殿，他的建议得到嘉靖帝的赞同。后来由他主持建造成万寿，嘉靖搬了去。徐阶因此加封少师，兼支尚书俸。而严嵩渐渐被皇帝冷落。嘉靖四十一年(1562年)，邹应龙告发严嵩父，皇帝下令逮捕严世蕃，勒令严嵩退休，徐阶则取代严嵩为首辅。

徐阶退休回家后，纵容自己的弟横行乡里，大量购置田产，徐家占地多达二十四万亩，加上他的弟、家为非作歹，致使告他的状纸堆积如山。应天巡抚海瑞、兵宪蔡国熙秉公办案，惩治了他的家人，于是徐阶用三万两黄金贿赂给事凤翔，又通过张居正命令给事陈三谟罢免了海瑞和蔡国熙，可谓一手遮天。所以当时人称他：“家居之罢相，能逐朝廷之风宪”有人因此把他称为“权”

严嵩被勒令退休后，徐阶亲自到严嵩家去安。他的行为使严嵩十分动，甚至叩致谢。严世蕃也乞求徐阶替他们在皇上面前说情，徐阶满答应。徐阶回到家里后，他的儿徐番迷惑不解地问：“你受了严家父那么多年的气，现在总算到了气的时候了，你怎么这样对待他们？”徐佯装生气骂徐番说：“没有严家就没有我的今天，现在严家有难，我恩将仇报，会被人耻笑的！”严嵩派人探听到这一情况，信以为真，严世蕃也说：“徐老对我们没有坏心。”其实，徐阶这样是因为他看皇上对严嵩还存有眷恋，而皇上又是个反复无常的人，严嵩的爪牙还在四活动，时机还不成熟。后来，嘉靖帝果然后悔，想重新召回严嵩，在徐阶的力劝下，才打消了这个念。

万历十年(1583年)，徐阶80岁龄，皇帝专程派人前去问，并赐玺书、金币。第二年，徐阶病死。赠太师，谥文贞，著有《世经堂集》。