街巷的妖言很不吉利，应当禁止。”隋主听了很不高兴，李渊有点担心，坐卧不安，幸好隋主还想着李浑，只认为应在李浑身上。
就在这个时候，有一个喜欢诬陷人的小人，中郎将裴仁吉上前奏道：“成公李浑，因为陛下赐死他的儿子，心中怨恨，想要谋反。”隋主立即发下圣旨，立案严查，最后把案子定为谋逆，李浑一家三十二口人都被斩首。
李渊稍微放了心，谁知张衡又使出毒计，用银子买通了一个隋主很信任的方士，叫安伽陀，让他说姓李的以后要当天子，劝隋主把天下姓李的都杀了。尚书右丞相高颍上奏道：“这谣言有的是有关系的，有的是没关系的，有真的，也有假的，不能全信。当年听信谗言的秦始皇，听到谣言亡秦者胡，要杀光天下姓胡的人，怎么也想不到是自己的儿子胡亥。晋宣帝梦见牛易马，原来是姓牛的小吏和他的妃子私通生下了晋元帝。天道隐藏，难以臆测，要想挽回天意，只在于修德，乱杀人反而会让人心动摇。圣上如果心中有疑虑，可以让姓李的人离开朝堂，不得掌握兵权就是了。”
这时候蒲山公子李密，职位是千总，隋主说他有反相，心里怀疑他。但是李密和杨素关系很好，杨素要保全李密，就大力赞扬高颍的话，暗地里让李密辞了官。这时候在朝中凡是姓李的人，有的回家养老，有的辞去兵权。李渊也趁着这个机会要求回太原养病，隋主批准了，还让他担任太原府的太守，节制西凉各郡。这高颍的一道奏折，救了李渊一命，这也是天子命不该绝。
这时候已经是仁寿元年七月了，太子杨广听说李渊辞了官，对宇文述说道：“张麻子这个计策太妙了，只是冤枉了李浑一家，反而让李渊这个家伙捡了便宜，全身而退。”宇文述说到：“如果太子想饶了这个家伙就罢了，不过不想饶了他，下官有一计，一定能够杀了李渊全家的性命。”太子笑着说道：“如果你早点想出这个计策，也不用浪费这么多心思。”宇文述说到：“这个计策只有现在才能用。”然后对着太子的耳朵说了几句。太子拍手笑着说