张衡按照商议的，杨广安排手下买通探子开始在民间散布谣言，散布的谣言内容先还是：“桃李子，有天下。”慢慢的，加上杨广集团有意识的以讹传讹，就变成了“杨氏灭，李氏兴。”
刚开始这些谣言也只是在街头巷尾私下口头传播，后来逐渐蔓延开了，甚至到市集、酒馆等公共场所都开始有人议论纷纷，从大人到小孩都在谈论这件事。巡捕官府想查也没有头绪，都不知道这些谣言是从哪里传出来的。想要试图禁止谣言的传播，但怎么禁也没办法完全阻止。
晋王得知事件的进展后，觉得已经时机成熟了。就决定找机会上奏隋主了。
他择日觐见隋主，小心翼翼地提及：“陛下，近日里坊间市井都在流传着一些妖言，恐对国家不利，臣恳请陛下下令禁止。”说罢，他紧张地观察着隋主的反应。
隋主听闻此言，脸色微变，语气冷淡又微有不悦地回应道：“此等琐碎之事，也值得你来上报？朕自会安排人处理的。”言罢，他挥了挥手，示意晋王退下。
晋王心中忐忑，却也不敢再多言，只得恭敬地退出一旁。然而，他的目光始终不离隋主，试图从他的神情中捕捉到一些端倪。隋主则紧绷着脸，心事重重，显然对这场谣言很不开心。
晋王离开后，隋主独自坐在龙椅上，深思良久。他明白，这场谣言不仅仅是对国家的威胁，更是对杨家统治地位的挑战。此时，他心中已对李浑产生了疑虑，但却又无法确定其是否属实。
与此同时，李渊在得知这场谣言后，也感到十分不安。他平时在朝中就更加的谨言慎行，以免引起隋主的进一步怀疑。担心自己会因为这场谣言而受到牵连，整日坐立不安，时刻关注着隋主的动向。
倒是隋主杨坚对李渊还是非常信任和了解的，暂时还没有把谣言和李渊对应上。反而朝中有些善于察言观色的小人，猜透了杨坚的心思，想趁机表功。
这一日，晋王又一次觐见隋主，正巧遇到朝中早朝。
中郎将裴仁基满脸献媚地走到隋主面前，刻意提高了语气说：“陛下，近日臣发现陈公李浑名声与民间传说的预兆很是呼应，加之之前陛下赐死其子，他可能会心怀怨恨，图谋不轨。臣以为，陛下应早做防备。”说罢，他挑衅般地看向其他官员，企图引起隋主的注意。
隋主闻言，脸色愈发阴沉，他瞥了一眼裴仁基，语气冷峻地询问：“有何证据？”
裴仁基立刻拿出早已准备好的“证据”，得意地说：“陛下，此人早已被臣秘密监控，发现他与一些朝臣暗中往来，定有阴谋。今日早朝，臣特来向陛下上奏此事。”
隋主看了奏折，紧绷着脸，目光如炬，一一扫过众臣。隋主终于开口：“果真如此，来人啊！传朕口谕：将李浑一门交付司法审讯，务必查清真相。”裴仁基闻言，立刻领命而去，嘴角勾起一抹阴险的笑容。
李渊正直，还试图为李浑辩护：“陛下，李浑一家无辜，陛下可否再斟酌？”
隋主却已完全被裴仁基的话所影响，冷冷地回应：“此等小事，无需李爱卿过多操心。朕自会处理。”
不多时，李浑已被抓捕，一家三十二口生死未卜。可怜到现在李浑一家都还不知道是出于什么原因，白白的做了这场朝堂斗争中的牺牲品。一家三十二口纷纷倒在血泊之中，首级还被裴仁基挂于市集公示，可悲、可哀！
这件事过后，李渊刚觉得稍稍放下了点担心。那张衡又来一个一条更加阴毒的计划。他贿赂了隋主非常听信的一个道士叫安伽陀的，又觐见杨坚，说：“李氏当为天子”，劝隋主一定要杀尽天下姓李的大臣，方才能保住杨氏的江山无忧。
杨坚本就多疑，再加上身边诸多小人反复的提及此事，搞的他也是左右不定，不但有点慌乱，心里多少也有点听进去这道士说的了。
还好在这个时候尚书右丞高颎得知此事，生怕再节外生枝，真的有可能引起朝纲大乱。他匆匆赶来朝堂，疾声对隋帝道：“陛下，这谣言真真假假，难以分辨真伪。臣认为，这天下是否稳固，关键在于修德，而非用刑。否则，只会越来越人心惶惶，加剧朝堂的动荡啊！请陛下一定三思。”
隋主闻言，疑惑地看着高颎：“那依爱卿之言，你说说又该如何分辨谣言的真伪呢？”
高颎语气坚定地说：“陛下，一些无关紧要的事情，就像如天将降雨，商羊起舞一样，虽然奇特，但与结果其实是没有关联的；有些谣言是与现实有密切关系的，需要引起高度重视，就好比保弧箕服实亡周国，才需警惕。”
“至于真假，所谓：“楚虽三户，亡秦必楚。”像这种斩草不除根的事，就是事实，必须重视；而所谓：“高山不推自倒，明月不扶自上。”就是民间的传说，是谣言，陛下大可不必在意。陛下千万要明辨是非，切勿轻信谗言啊。否则引起朝纲混乱，会伤我国之根本的。”高颎又接着说道。
隋主仍有些担忧：“可是，如果真如你所说，朕又该如何挽回天意呢？”
高颎诚挚地说：“陛下，臣还是那句话：天道本就是我等凡人无法揣测的。陛下只要保持“只在修德，不在用刑”，自然就是顺应天意，无需担心的。”
说到这里，高颎还是怕杨坚不能完全放下这些心思，又退而求其次的补充了一个方案：“臣以为：陛下如还有担心，只需将所有姓李的官员罢官，不得在朝，不得管兵用事，也就自然安心了，不必赶尽杀绝的。”
在这个时候，还有件事情也起到了关键的作用。就是隋主杨坚身边有一个侍卫长是蒲山公子李密，也姓李。而且杨坚还不是很喜欢他，经常也说到他长得有反骨，一直对他有疑心。恰巧这个李密是杨素的多年好友，杨素在这个事件中一直担心他，想保住他。
所以高颎提了建议后，杨素也立马出了列，恭敬地向杨坚鞠躬行礼，说道：“陛下，高公正直，所言也是为了国家，确实也有些道理，臣以为可按高公之建议执行。陛下无需多虑。”
此时，李渊在朝上心中略感安慰，知道命暂时是可以保住了。同时，他也意识到，这场风波恐怕只是一个开始。
随即他也立刻站了出来，躬身说道：“陛下，臣在朝多年，也多次随大军南征北战。现年事渐高，近年来身体也多有抱恙，请求能归乡养病。请陛下恩准！”
隋主犹豫了一下，见几位心腹都赞成高颎的提议，终于点头答应了方案。他深知，此时稳定政局还是很至关重要的，而高颎的建议将李姓官员一律罢官无疑是最好的办法。
于是，隋主杨坚正了正身子，端坐龙椅之上，声音洪亮地说：“我大隋建朝以来，诸多征战。诸位爱卿多年为国事操劳、南征北伐。寡人感动啊！传朕指意，今有高公、杨公力荐，朕特赦在朝李姓文武官员，辞去兵权，辞官归田，颐养生息、保重身体。”
“此外，爱卿李渊在外征战多年，多有战功，为官正直。现因身体抱恙，请求归乡太原养病，朕准其所求。但仍任命他为太原府通守，节制西京。退朝！”
这一事毕，一时间，朝堂上人人自危。杨素朝后也立刻偷偷传话给李密，让他也辞了官，赶紧离都。
就这样，高颎的上书请求。救下了朝中多位李姓官员，尤其是李渊，正所谓——大难不死，必有后福。