众筑平陇、卫壁、统戎等镇戍十三所。周柱国木包罕公普屯威、柱国韦孝宽等领步骑万余,进逼平陇,同光在汾水之北交战,光获胜,俘、斩千余人。又封光中山郡公,增邑一千户。军还,帝诏令光率五万步骑沿平阳道进攻姚襄、白亭等城戍,都攻下了,俘虏城主、仪同、大都督等九人及数千士卒。又别封长乐郡公。是月,周派其柱国纥干广略围宜阳。光率五万步骑赶往援救,两军在城下大战,又夺了周建安等四戍,捕获千余人才回。军还没有抵达邺城,敕令放散兵众,令归其家。光认为兵士多立有军功,没有得到慰劳奖赏,如果放散,不施恩泽,就不能赢得民心,于是秘密上表请求派人宣旨。军卒仍然前进,朝廷迟迟不发使,军队行至紫陌,光只好命令驻营等待。帝听到说光军营已逼近都城的通报,很不高兴,急派舍人请光入见,然后慰劳奖赏兵众,令其放散。拜光左丞相,又别封清河郡公。
光入,常在朝堂垂帘而坐。祖王廷不知晓,骑马从其朝堂门口走过。光见后大怒,对人说:“这人好大胆子!”后来王廷在内省,高声大气地讲话,光正好路过,听到后,又十分恼怒。王廷知光忿恨,向光的随从奴仆行贿,还打听说:“相王很恼怒我孝征吧?”答:“自从公主事后,相王每夜抱膝长叹说,‘盲人入朝,国家一定破灭’!”穆提婆请求娶光庶女为妻,光不同意。帝将晋阳田地赏给提婆,光在朝上大声讲:“晋阳的田地,神武帝以来常种禾,饲马几千匹,以平寇难,如今赏赐给提婆,这不是破坏军务吗?”因此光与祖、穆二人有了怨仇。
周朝将军韦孝宽忌妒斛律光的英武勇敢,就制作歌谣,令间谍在邺城散布,称:“百升飞上天,明月照长安。”又说:“高山不推自崩,槲树不扶自竖。”祖王廷又乘机加了几句:“盲眼老公背上下大斧,饶舌老母不得语。”并让小儿在路上歌唱。提婆听唱后,向他的母亲令萱作了报告。萱认为“饶舌”是指斥的自己;“盲老公”说的是祖王廷。因而相与密谋,将歌谣向帝启报,说:“斛律累世为朝廷大将,明月威震关西,丰乐威行突厥,女为皇后,男娶公主,谣言十分可怕。”帝就此事询问韩长鸾,长鸾认为不必大惊小怪,事情也就作罢了。祖王廷又在帝前挑拨,当时帝旁只有何洪珍在。帝道:“前得你的报告,本打算施行的,却给长鸾制止了。”王廷没有回答,洪珍进言说:“如若无此意,还行;既然有此意,就应该施行,万一泄露出去,那就把事情闹大了。”帝说:“洪珍的话讲得有理。”但还是犹豫未决。适逢丞相府佐封士让进密奏,奏称:“前时光西征回京,陛下敕令放散兵卒,光却令军卒进逼京师,欲行不轨,事情没有成功就停止了。再说,光家藏有弩甲,拥有奴僮千多,常派人前往丰乐、武都等人家里,相互勾结。如不早点加以制止,任其发展,那就危险了。”恰好启奏上有“军卒进逼京师”之语,与帝前些时日的怀疑相合,帝便对何洪珍说:“人的想法有时很正确,我以前怀疑他有反叛之心,现在看来的确如此。”帝性格十分怯懦,担心事情会突然暴发,命令洪珍快马召祖王廷进宫。又害怕光不从命。王廷趁机进言:“正要召他,又怕他起疑心不肯来。应该派人赐给他一匹骏马,告诉他说‘明天准备前往东山游观,王可乘这匹马一同前往’,因此,光一定要入宫致谢,这时就乘机把他抓起来。”帝遵其言。不一会儿,光来了,有人把他引进凉风堂,刘桃枝从后边扭住,很快砍下了他的头。这年光五十八岁。光被诛,帝下诏说他谋反,现已伏法,其余家口不受株连。很快又发诏书,将光族满门抄斩。
光言语寡少,性格刚正急躁,御下严格,治兵督众,只是依仗威刑。在筑城置戍的劳作中,他常常鞭挞役夫,极其残暴。自从少年从军后,不曾违背规章,而使邻敌闻风丧胆。光没犯什么罪,却被朝廷处死,所以时人极其惋惜。周武帝得光死的报告,十分欢喜,竟下令赦免其境内的罪犯。后帝逃往邺城,追赠光为上柱国、崇国公。帝指着诏书说:“如果光还活着的话,我哪能跑到邺城来?”
光有四个儿子。长子武都,历职特进、太子太保、开府仪同三司、梁兖二州刺史。所有任职并无政绩,惟有拼命聚敛,侵渔百姓。光死后朝廷派人赴州处死了武都。次子须达,官中护军、开府仪同三司,比光早死。次子世雄,开府仪同三司。次子恒伽,假仪同三司。世雄、恒伽被朝廷赐死。光最小的儿子钟,因年幼,未受屠戮,北周时袭封崇国公。隋开皇中卒于骠骑将军位上。