加高兴，赐给张衡宅旁边的土地三十顷，良马一匹，金带、缣纟采六百段、衣服一身、御用餐器一套。张衡坚决推辞，炀帝说：“天子临幸这里，就是为了这个，不足以辞谢。”张衡又奉献食物给炀帝，炀帝命令赏赐给公卿，下至卫士，没有不沾沐皇恩的。

张衡认为原有的诸侯王府第，恩宠都没有能够和他相比的，很是自我骄傲矜贵。第二年，炀帝临幸汾阳宫。这时，炀帝想扩大汾阳宫，命令张衡和纪弘整准备图纸上奏。张衡寻找机会进谏，以连年劳役、百姓疲惫为理由请求炀帝不要再大兴土木。炀帝非常不高兴。后来曾经目视张衡对侍臣说“：张衡自称是按照他的计谋，让我获得了天下。”当时，齐王杨。。失去了炀帝的宠爱，炀帝令人秘密地搜求齐王的罪行。有人诬陷杨。。违犯制度，将伊阙令皇甫诩带进汾阳宫。又记录先前临幸涿郡和祭祀恒山时，当地父老去谒见，衣冠不整。炀帝指责张衡身为宪司而不能加以匡正，将张衡贬出京城任榆林太守。

第二年，炀帝又临幸汾阳宫，张衡督促工役修筑楼烦城，因此谒见炀帝。炀帝厌恶张衡身体没有瘦下来，认为他心中不记念过失，因而对张衡说：“你太肥胖了，应该回到榆林郡去。”张衡又到了榆林。不久又敕令张衡去江都宫监督工役。有人到张衡那里告江都的监工，张衡不予受理，回去把诉状交给了监工，那个告状的人因此而受到监工的严厉报复。礼部尚书杨玄感出使到江都，那人到杨玄感的住处喊冤。杨玄感认为张衡这样做很不对。等到二人相见，张衡对那事情只字不提，又先对杨玄感说：“薛道衡真是被冤枉死的！”杨玄感把这些事情都上报给了炀帝。江都郡丞王世充又上奏张衡不断地减少每顿饭的食物。隋炀帝大怒，把张衡锁械到江都刑场，准备斩首。接着就除去名籍，放回故里。炀帝命令其亲族时常观注张衡的所作所为。

大业八年，炀帝从辽东回到京城，有人妄言张衡心怀怨恨，诽谤朝政，炀帝就将张衡赐死家中。临死时，张衡大声说：“我替别人做了什么事情，指望长久活下去！”监督行刑的人塞起耳朵，督促他赶快自尽。唐高祖武德初年，朝廷认为张衡赐死不当其罪，追赠大将军，南阳郡公，谥号为忠。有子名希云。

裴蕴，河东闻喜人。祖父裴之平，父裴忌，《南史》都有传。裴忌在陈朝，与吴明彻一同被周朝俘虏，周朝赐爵江夏公，入隋十多年而死。

裴蕴聪明善辩，有官吏之才，出仕陈朝，历任直阁将军、兴宁令。因为父亲在北朝，裴蕴私下上表给隋文帝，请求作为内应。等到陈朝被消灭，文帝接见江南投降的官员，依次到了裴蕴，因为裴蕴早就有归顺隋朝之心，越级授为仪同。仆射高赹不明白文帝的旨意，谏阻道：“裴蕴对国家没有功劳，宠幸超过同类人，臣认为不可。”又加授上仪同，高赹又谏阻。文帝说“：可以加授开府。”高赹才不敢再说。即日升任开府仪同三司，礼仪赏赐优厚。历任洋州、直州、棣州三州刺史，都有好名声。

大业初年，考绩连年最佳。隋炀帝听说裴蕴政绩甚佳，征召裴蕴入京任太常少卿。当初，隋文帝不喜爱音乐技艺，派遣牛弘审定音乐，不是正声清商乐和九部四舞之类的，都剔除出来，回归民间。到了现在这种情况，裴蕴揣测炀帝的意思，奏请收罗天下周、齐、梁、陈四朝的声乐之家的子弟，都作为乐户。六品以下以至于平民百姓，有擅长音乐和倡优百戏的人，都隶属太常。自此之后，奇异的技艺，淫荡的音乐都汇集在乐府官署，皆设置博士，递相教习传授，乐人增加到三万多人。隋炀帝十分高兴，升任裴蕴为户部侍郎。

当时尚承接文帝时的和顺升平，禁忌罗网宽疏，户籍人口多有疏漏。有的年已成丁，还诈称为小儿，有的未到老年，已免除租税。裴蕴历任刺史，原就知道这种情况，因此逐条奏闻，皆令查验相貌。如果有一人不属实，就将负责的官吏免职，乡正、里长都发配到远方。又准许百姓互相告发，如果查出有一丁隐瞒，就让被揪出的人家代为输奉赋税和劳役。这一年是大业五年。名个州郡合计增加人丁二十四万三千，新增加户口六十四万一千五百。隋炀帝临朝观览奏状，对百官说：“前代没有好人，致使出现这种欺瞒冒昧之事。如今增加百姓人口都能够属实，全都由于裴蕴一人花费心思。古人说‘得到贤才而治理’，检验于事实确实如此。”因此，裴蕴逐渐受到宠信和重用，任京兆赞务，纤毫之事都得到揭发检举，官员百姓都惊恐忌惮。

不久，裴蕴被擢升为御史大夫，和裴矩、虞世基一起参与掌管机密。裴蕴善于体察皇帝的细微之意，如果想归罪某人，就枉法徇情，铸成其罪名；如果想宽恕某人，就依从轻的法典，因而就把他释放。自此之后，大大小小的案件都交付裴蕴审理，刑部、大理寺都不敢与他争夺，举动必定秉承他的意思，然后才作出决断。裴蕴亦是机敏善辨，论述法典刑理，口若悬河，不论刑罚轻重，都是由裴蕴一口决定，解剖析理，明辩敏锐，当时的人不能有什么疑问。

杨玄感造反，炀帝派遣裴蕴推问杨玄感的党羽，对裴蕴说：“杨玄感一声呼喊，跟从的人有十万。越发知道天下的人不要求多，多了就相聚为强盗。不全部加以诛杀，就无法惩戒后人。”裴蕴因此就用严刑峻法加以审理，杀戮数万人，其家产皆籍没入官。炀帝大加赞赏，赐给裴蕴十五个奴婢。