張良又趁機規勸高皇帝說：“讓太子做將軍，監守關中的軍隊吧。”
高皇帝說：“子房雖然患病，也要勉強在臥床養病時輔佐太子。”這時叔孫通做太傅，張良任少傅之職。
高皇帝十二年（公元前195年），高皇帝隨著擊敗英布的軍隊回來，病情更加嚴重，愈發想要更換太子。張良勸諫，劉邦不聽，張良就托病不再理事。
太傅叔孫通引證古今事例進行勸說，死命爭保太子；高皇帝假裝答應了他，但還是想更換太子。
等到安閑的時候，設置酒席，太子劉盈在旁侍侯，建成侯呂釋之先前請來的四人跟著太子，他們的年齡都已八十多歲，須眉潔白，衣冠非常壯美奇特。
高皇帝感到奇怪，問道：“他們是干什么的？
”四個人向前對答，各自說出姓名，叫東園公、甪里先生、綺里季、夏黃公。
高皇帝于是大驚說：“我訪求各位好幾年了，各位都逃避我，現在你們為何自愿跟隨我兒交游呢？”
四人都說：“陛下輕慢士人，喜歡罵人，我們講求義理，不愿受辱，所以惶恐地逃躲。我們私下聞知太子為人仁義孝順，謙恭有禮，喜愛士人，天下人沒有誰不伸長脖子想為太子拼死效力的。因此我們就來了。”
聽到四人的話，高皇帝若有所思地說：“煩勞諸位始終如一地好好調理、保護太子吧。”
四個人敬酒祝福完畢，小步快走離去。
高皇帝目送他們離去后，召喚戚夫人過來，指著那四個人給她看，說道：“我想更換太子，他們四個人輔佐他，太子的羽翼已經形成，難以更動了。呂后真是你的主人了。”
戚夫人哭了起來，高皇帝說：“你為我跳楚國的舞蹈，我為你唱楚國的歌。”
高皇帝唱道：“鴻鵠高高飛起，一躍翱翔千里。羽翼已經長成，橫跨超越四海。已然縱橫四海，還能奈他如何！雖有利箭長繩，又能何處施展！”
高皇帝唱了幾遍，戚夫人抽泣流淚，高皇帝起身離去，酒宴結束。
高皇帝最終沒更換太子，原因是張良（教呂釋之）招攬的這四個人效力太子，讓高皇帝認為，朝中的文武大臣都很擁護太子，太子仁義的名號也傳遍了天下。
而在高皇帝一朝，呂氏外戚的兩個男丁呂澤、呂釋之兩人，一個幫高皇帝平定了天下，另一個幫孝惠皇帝穩住了太子的位置，二人都是國家的棟梁。
但呂家很不幸的是，呂澤、呂釋之的兒子都沒有得到很好教養。
呂澤的兒子呂臺、呂產，都是后來謀劃叛逆之事的人，呂釋之的長子呂則得侯第二年，建成侯國就因罪被廢除，呂釋之得另一個兒子呂祿，也同樣是謀逆之人。
呂臺是呂產的長兄，在后來太祖高皇帝駕崩之后，呂產勸說長兄呂臺為呂家攬收權力，呂臺因為父親呂澤戰功赫赫而沒有顧忌，才導致了后來呂氏外戚子弟不恭，呂產、呂祿舉兵謀逆的事。
呂祿的父親是建成侯呂釋之，呂產、呂臺的父親是周呂侯呂澤；周呂侯、建成侯對漢室立下了汗馬功勞，他們的子孫卻憑仗著父輩的武勛，謀劃叛逆的事，實在是為公侯勛貴做出了壞的榜樣。
如果沒有呂祿、呂產等人得謀逆行為，呂氏外戚本來應該在我的筆下得到《世家》一篇，但發生了那樣的謀逆之事后，呂澤、呂釋之二人只能被我歸為列傳，其他的呂氏族人，則分散在其他幾個部分當中。
對于呂氏一族，呂產、呂祿二人的罪孽可謂罄竹難書，對于漢室，呂氏外戚得功過也算得上是毀譽參半，但終歸功大于過。