苏威也愤怒了，张衡竟敢平白诬陷重臣，他急道：“你们且慢一步，我去给圣上解释，绝无此事。”
他转身要走，高熲却喊道：“无畏兄听我一言，圣上杀我之心久矣，今天不过是借口，你若前去，必会连累你，无畏兄，天命如此，何必再多言？”
“不行！你若无辜被杀，岂不让百官寒心，当年我也是被公推荐，才得以重用，今日公有难，我安能不救？”
苏威不理他，快步向帐外走去，帐内的侍卫一起向宣旨宦官望去，宦官眼珠一转，便道：“押赴黄河边，可以慢慢地走！”
．．．．．．
“陛下，高相冤枉啊！”
苏威跪在六合城下高声大喊，六合城城门已闭，杨广一概不见，这时，越来越多的官员都闻讯赶来为高颎求情，裴矩、裴蕴、张瑾、元寿、牛弘、杨玄感、郑善果、周法尚、杨义臣、杨雄等等近百余名朝廷重臣都跪在六合城下，为高熲求情，上百名大臣跪满一地，高声哀求，令人动容。
御书房内，杨广从墙壁上的小窗，可以看见外面的百官求情的场景，可越是这样，越坚定了他杀高颎的决心，他已经渐渐冷静，他也察觉到了张衡话中有不实之处。
以高颎几十年的老臣，他怎么可能当着这么多人的面说‘秦修长城，不也二世而亡？’之类的话，这种话高颎最多和自己亲近的人说说，至少张衡是听不到，但既然张衡愿意替自己担这个罪责，他杨广又何乐而不为，杀了高熲，再以诬陷之罪杀张衡，一样可以平息众怒。
这个杀高颎的机会，杨广绝不会轻易放过，眼看越来越多的大臣赶来，杨广冷笑一声，他又下旨道：“传朕旨意，苏威借古讽今，身为相国，言语不当，免其左仆射之职，罢黜为民！”
为了显示他并不是为了专杀高熲，他索性将苏威也一并罢免，理由就是他说了一句，‘历朝历代，只懂武功而不谙文事者，必将灭亡。’
圣上的旨意传下，众大臣一片唏嘘，连苏威也不能幸免，被罢黜为民了，苏威被摘去官帽，夺走鱼牒，他心中黯然，看来这一次高颎真的难以幸免。
这时，裴矩站起身，愤恨万分道：“各位大臣，张衡诬陷高相，罪大恶极，我等找他要说法去！”
他振臂一呼，数十人起身，跟着他向御史台的营帐怒气冲冲而去，但吏部尚书牛弘和另一些朝官却依然跪在地上，悲伤大喊：“陛下，高相冤枉，不可杀之啊！”