夏秋冬，更是夜以繼日。

由是民夫疲頓顛仆，輾轉哀苦，死亡萬人以上。楊素不準下葬掩埋，命將民工屍體皆都推入深坑，蓋土築為平地。秦始皇修建長城之時，亦未見得如此嚴酷。

工程告竣，報予朝廷，隋文帝楊堅派大臣前往視察。

大臣驗工後返京回奏：其宮豪奢，頗傷綺麗，大損人丁。

楊堅聞奏大怒，下詔斥責楊素道：因你急功近利，卻為朕結怨天下！

楊素聞而大懼，惶恐不安，將天子責詔示於土木監封德彝，向其求計。

封德彝笑道：越國公何必如此？天子雖然見責，但皇后必有恩詔。

其後未幾，果然獨孤皇后召見楊素，當面慰勞：卿知我夫婦年邁，無以自樂，故盛飾此宮，豈非忠孝。自古帝王之法，便有離宮別館先例。今天下太平，卿造此宮，何足損費！

楊堅聽罷皇后之語，果然轉怒為喜，遂又大讚楊素，更賜錢百萬，錦絹三千段。

楊素得此重賜，深感封德彝先見之明，並請天子為離宮賜名。

文帝說道：古語云，堯舜行德，而民長壽。可取其美意，命為仁壽宮。

，！

眾臣聞之，皆都稱讚。開皇十五年夏，文帝詔命前往仁壽宮避暑，又命楊素監修馳道，役夫暴於烈日之下勞作，死者相次於途。

楊素依如前例，下令聚屍成堆，澆油焚之。楊堅在仁壽宮中扶欄遠望，見宮闕之間磷火瀰漫，隱有哭聲四起。因不知是何緣故，於是派人前往察看。

使者回報：皆因屍骨有暴露於外者，便成鬼火。所謂哭聲，乃是已死役夫鬼魂作祟。

楊堅驚悸，遂派人釃酒祭奠。

當夜楊素值宿偏殿，夢一白鬚白髮老者直入寢臥，當面斥道：我乃鬼谷門兵家派主，王敖祖師是也。你枉居我派掌門之位，害民如此，得無愧乎？

說罷凌空一指，點中楊素額頭印堂大穴，隱而不見。

楊素驚醒，便覺頭痛欲裂，由此得疾不愈，時而復發。

皇后獨孤氏善妒，嚴禁楊堅與其他女人接近。

隋文帝在仁壽宮避暑期間，看上一位宮女，退朝之後就便臨幸，愛如珍寶。未料其內侍之中，半為獨孤氏耳目，立將此事報於皇后知道。

皇后大怒，暗命殺死宮女，其後故作不知。

隋文帝遍尋宮女不得，知是被皇后害死，一怒之下單騎飛奔出宮，不問路徑，直入山谷之間。眾臣聞說皇帝離家出走，皆都大慌，沿山路追尋二十餘里，才將皇帝找到。

高熲、楊素極力勸解，隋文帝嘆道：朕貴為天子，卻不如卿等三妻四妾，更得自由！

畢竟惦念萬里江山，天子之位，只得調轉馬頭，回到離宮。

獨孤皇后主動謝罪，夫婦間和好如初。仁壽宮雖然美侖美奐，但楊堅因惡其磷火鬼哭，此後便很少來此。又更因勤於政務，無暇顧及。

開皇十四年，朝鮮半島百濟、新羅、高句麗三國相繼遣使來至長安朝貢，請為附庸。

是年隋文帝巡幸幷州，次歲命人設壇泰山，親往設祭，但不雲封禪。下山之後，又巡幸靈巖寺，迴鑾長安，次年頒佈科舉之制，詔命行於天下。

開皇十七年二月，南寧州蠻夷首領爨翫起兵反隋，誅殺隋朝所置官吏，氣焰囂張。

隋文帝聞報大怒，即命開府儀同三司、柱國太平公史萬歲掛帥，前往雲南征討。

史萬歲奉旨出京南下，率軍一路跨溪越澗，不遠萬里前至南寧，一路進剿七州。再行數百里，忽見叢林道傍立一石碑，觀其碑文，卻是當年諸葛亮南征時所立功碑。背面並刻九個大字曰：萬歲之後，勝我者過此。

部將見之，皆都矯舌不下，驚道：此位諸葛丞相