说他谋兄,《醒世恒言》说的很神奇:“文帝积怒太子勇,已非一日。竟废太子勇为庶人,幽之别宫,却立晋王广为太子。受命之日,地皆震动。识者皆知其夺嫡阴谋。”此处,“受命之日,地皆震动”,显然是小说家之谣言。
说他淫母,《旧唐书》与《新唐书》均有涉及,《醒世恒言》也讲得很具体,内容也一致,且只有一次,但所述在时间上不相吻合,一说是隋文帝生病时,一说是宫廷政变之前。
说他好色,更是史不绝书。史书上说他与宣华夫人,容华夫人有染,违背伦理道德霸占父妾。《隋书》中说杨广为了得到陈后主的后妃张丽华,劝高炯不要杀她,但高炯不从,因而怨恨。然而《陈书》却明确记载杨广命令斩杀张丽华,作为奢淫亡国的典例。从当时的人心向背和杨广的抱负来看,19岁的杨广决不会冒天下之大不讳的荒唐举动来。民间还传说隋炀帝色迷心窍,欲娶自己的妹妹。妹妹硬扭不过,借托除非正月十五出现繁星满地的奇迹,才可成婚。隋炀帝下令京城四周百姓到十五日晚每户燃灯火,违令者斩。至十五日晚,妹妹登楼见满地都是灯火,误以为真是繁星落地,纵身投河自戕。为了纪念这位不甘凌辱的女子,民间百姓每逢正月十五都燃起了灯火,这就是“元宵”的起源一说。但只要我们平心静气查阅残缺的文献史料,不难发现,杨广一生只有三个儿子,且始终眷恋他的正妻萧后。这在历史上的皇帝中难能可贵,更不是唐朝皇帝所能比的。
说他贪欲害民,主要是两条,一是“骄怒之兵屡动”,一条是“土木之工不息”,见《隋书·帝纪第四》“史臣曰”。这两条都明显是智者捏造。所谓骄兵屡动,一则源于文帝时高丽入侵,炀帝不得己承续父业,二则源于南北割据之势刚息,但造反之习未除,开明之际亦屡有起兵者,炀帝不得不兴兵矣。所谓“土木不息”,一则与炀帝个性有关,此责难逃,一则主要因他开了一条运河。关于这条河,后人非议太多,有“十里长河一旦开,亡隋波浪九天来”诗为证。甚至《开河记》还载,有个为给隋炀帝开河,蒸死自家小儿的麻叔谋,鲁迅在《二十四孝图》一文中还有引用。