石显的名声太臭，所以刘骜一上台第一个看不顺眼的就是这个人，自然要拿他开刀。
建始元年（前32年），新上任的大司马大将军，也就是刘骜的舅舅王凤提出，刘骜顺水推舟，把石显降官为长信太仆。
石显在元帝朝一直红的发紫，虽然不怎么在朝议上出现，但却借着其党羽干预朝政，可谓显赫一时，只手遮天。
他也知道如此不是长久之计，所以做事滴水不漏，让人抓不住把柄。不过，他却未曾想到，倒霉的一天会来得这么快。
短短的16年，弹指一挥间。
他只能怪自己眼神不好，把宝压在了刘康身上，而忽略了那“不成器”的太子。
王凤的意思，只要搬开石显，不让他有弄权的机会就可以了，现在新官上任，还不能搞出太大的事端，给新皇添麻烦。等到他甥舅俩的地位稳固了，再慢慢折磨石显不迟。
可令他想不到的是，石显贬职却让满朝文武嗅到了一丝明确的气息。
“石显要不行了！”
丞相匡衡，御史大夫张谭当年对石显俯首帖耳，在石显面前，连个屁都不敢放，俨然就是唯石公公马首是瞻的模样。如今，一看形势不对，赶紧上了一道折子。
这折子是参石显的，其中历数了石显及石显党羽的数条大罪，大义凛然地跟石显撇清关系。
刘骜在看到这个折子时，简直勃然大怒。
以前他只是听说石显是个坏蛋并未亲见，没想到这家伙居然坏到了骨子里。
“此人留不得。但念在其服侍先帝的功劳上，只是免官迁回原籍，不杀其性命。”刘骜的话很快传达下去。
石显回天乏力，只能一肚子气地把卷起铺盖，离开了呆了数十年的宫廷，去往家乡章丘。他的党羽少府五鹿充宗由少府降为玄菟太守，御史中丞尹嘉降为雁门都尉，虽说都是蛮荒之地，但好歹还是个关，其余人就没他们两一般幸运，一律卷铺盖丢官。
石显一路颠簸，思绪却万千。