到了那年冬至以后，百官朝见杨勇，而杨勇也高兴接受他们的祝贺。隋文帝问臣下说这是哪种礼节，太常少卿辛亶表示，东宫应该只能用贺，而不能用朝见。隋文帝认为杨勇违反礼制，于是下令臣下不得再以朝见礼去见杨勇，并且对杨勇的宠爱也日益消减，反而增加怀疑之心。后来隋文帝选侍卫官时，将武力强者都选到自己身边，高颎便进谏表示这样恐怕保护东宫太子的侍卫官就显得太弱了，这让隋文帝相当不高兴，认为高颎是因为其子高表仁是杨勇的女婿才帮他说话，从此对他就更提防。
杨勇生性好色，喜爱奢侈，有许多妾侍、珍宝，其中有位云昭训，因姿色娇美，特别得到宠爱，并生下三个儿子，受到的待遇甚至与正室不相上下，这让杨勇的母亲文献皇后独孤伽罗相当不满。杨勇的正妻元妃不得宠爱，气出了心病，没两天就死了，杨勇随即让云昭训主持太。独孤伽罗认定是杨勇与云昭训合谋害死嫡妻，不但责备杨勇，又派人去暗察。晋王杨广知道母亲对兄长有不满，便假装自己没有什么姬妾，且只和萧妃厮守。于是独孤伽罗更讨厌杨勇，并对杨广的德行大加称赞。独孤伽罗每次抱怨云氏专宠、感叹元氏夭亡时，杨广也跟着痛心疾首，让独孤伽罗更加喜爱杨广，有意废黜杨勇的太子之位而立杨广为太子。杨勇为此感到害怕，却又没有办法；隋文帝知道他内心不安，便派杨素去观察他，结果杨素却故意激怒杨勇，使杨勇说出抱怨的话，从此隋文帝更怀疑他了。独孤伽罗与杨广等人都在观察他的一举一动，向隋文帝进谗言，加上杨勇多有埋怨之言语，隋文帝于是废杨勇为庶人，改立杨广为太子。
很多大臣都认为杨勇罪不至被废，而且废立太子是大事，但隋文帝不听。杨勇也自认罪不至被废，屡屡要求面见隋文帝，想要告诉隋文帝有关自己的冤屈，但都被皇太子杨广给拦下，无法达成他的心愿。情急之下，杨勇爬到树上，大声呼喊隋文帝，希望隋文帝听见后可以见他一面。杨素趁机向隋文帝进谗言说：“杨勇已经心神丧失了，被妖魔附身，魂都收不回来了。”隋文帝也这么觉得，因此杨勇终究无法与隋文帝见到面。杨素诬陷杨勇，方式与罪名也大都如此。
直到文帝卧病于仁寿宫时，皇太子与文帝姬妾皆随侍在侧，《资治通鉴》、《隋书》载宣华夫人被太子杨广“无礼”之事。宣华夫人将此事告诉文帝后，文帝始知冤枉了杨勇，并大骂独孤皇后与杨广，派人召杨勇进宫，准备废杨广而复立杨勇为太子，但是此事被杨广拦截，随即文帝便暴崩，杨广即位，立即假拟文帝诏书，赐死杨勇。炀帝后来追封杨勇为房陵王，但是子嗣不得继承其位，全部流放济南，后来多数都被杨广杀死。
开隋九老：
1伍建章
伍建章，字德良，号安公，安徽蒙城县王集乡人。大隋开国，伍建章因为功高盖世，受封为忠孝王，果然人如其名，以忠孝为本，在朝中和民间声望颇高，并且将家传枪法刀法传授给儿子伍云召和侄子伍天锡，两人分别成为隋唐第五条好汉和第六条好汉，此后伍云召受封为南阳侯，坐镇南阳关，而伍天锡则上山落草为寇。后杨广杀父弑兄，谋国篡位。忠孝王得知之后在庭上大骂杨广，被敲牙割舌，满门抄斩！得知家门遭难，伍云召在南阳起兵，为父报仇，掀开了反隋热潮！（为评书、电视剧虚构人物，无原型）
2高颎
高颎（?～607）中国隋代名相。字昭玄，一名敏。自称渤海蓨县（今河北景县）人。其父高宾是杨坚妻父的僚佐，官至刺史。高颎袭爵武阳县伯，官下大夫。因平齐功，拜开府。周大象二年（580）杨坚辅政，知高颎强明，知兵事，多计谋，遂任其为相府司录。相州总管尉迟迥举兵反杨坚，高颎自请监督诸将进军，很快平定了尉迟迥。因此，进位柱国，迁相府司马，成为杨坚最得力的助手。隋朝建立，高颎任尚书左仆射兼纳言，为当朝首相。他明达世务，自任宰相后，竭力协助隋文帝杨坚处理朝政。政刑大小，无不筹划；荐引文武人才为隋出力；综合前朝旧法，主持修定隋律；创立输籍定样，招徕大量浮客，增加了国家编户。开皇八年（588）隋出兵伐陈。高颎为元帅长史，指挥全军一举灭陈，完成南北统一，以功封齐国公。隋文帝拟废太子杨勇，立次子杨广为太子时，高颎反对，渐被文帝和皇后疏忌；开皇十九年被人诬告免官。仁寿四年（604），隋炀帝即位，高颎复起为太常卿。大业三年（607），因对炀帝的奢侈和当时政事有所非议，为人告发，与贺若弼同日被杀。（历史上确有此人。）
3杨林
杨林（隋唐英雄，靠山王杨林）
《说唐》书中描写:隋炀帝的叔叔，隋唐第八条好汉，总管隋朝兵权，为人正直无私，虽然很赏识秦琼等英雄，但对隋朝忠心耿耿，一心想挽回天下大势，最后被罗成用回马枪刺死。
历史原型：名杨爽，隋文帝杨坚异母弟，受封卫王。自幼被杨坚之妻独孤氏收养，因此倍受文帝宠爱。隋唐第8条好汉，炀帝杨广的叔公，大隋军委主席，“逢州杀州，逢府夺府，所到之处，势如破竹”，为隋朝的建立立下了不可或缺的汗马功劳。曾三次率隋军北伐，大败突厥沙钵略可汗，威震塞北。杨爽仪容俊美，举止有度，名声甚好。