司馬遹小時候曾聽祖父司馬炎講過這么一個故事：
從前有這么一個人，請了四個客人來宴飲，都是他的朋友。一人當天有事沒來，而主人又話多愛嘮叨，宴席上就來來回回地說：“唉，該來的沒有來。”
宴席上有個客人性急，聽多了便心煩，說道：“這么說，我是不該來的咯？”他當即拂袖而去。
主人追之不及，回來后更加唉聲嘆氣，又道：“唉，不該走的走了。”
這話更不像話，剩下兩位客人中有個度量淺的，也坐不住了，氣惱道：“那我是該走的了？”
主人又去留，但實在留不住，只好對著背影長叫說：“我說的又不是你……”
這下最后一位朋友也留不住了。
不知為何，司馬遹第一次聽過，便記住了這個故事，并在此后的歲月里常常想起。
司馬遹記住這個故事，主要是因為祖父司馬炎。老實說，他從小并不知道司馬炎是他的祖父，因為他所在的宮殿里，除去服侍的宮女外，只有他和他母親謝玖，再就是祖父司馬炎。祖父司馬炎是他除了同齡人外，見過的惟一一個男性，所以他把司馬炎當做父親。
不料有一天，司馬炎突然把他叫過來，指著一個肥頭大耳相貌憨厚的中年人說：“沙門，這是你的父親。”
然后又對著那個中年人指著司馬遹說：“正度，這就是你的兒子。”
當時被召集而來的不只是司馬遹，還有司馬瑋、司馬允等諸位皇子，大家都是第一次聽說這個消息，不免吃驚地望著司馬遹。
司馬遹自己也感到迷惘和吃驚，小小的腦袋中不禁浮現了一個念頭：“這說的是我嗎？”
事實上，司馬遹這短暫的一生中，經常會產生這種疑惑。
記得那是認親之后的一個秋天，司馬遹雖然認了父親，可父親自己不能自理，更別說當一個合格的父親。因此，他的生活還是沒有多少變化，天天都跟在祖父身邊受教。司馬炎也非常喜愛他，每天帶著司馬遹四處行走，形影不離。
這天晚上，司馬炎帶著他到乘風觀看星星，突然皇宮的東南處發生了大火，在黑漆漆的夜里，可見火光如魔龍般狂舞，遠處傳來人們的哭喊聲，喧鬧聲，人影也不斷變幻，好像無形的魔鬼。
司馬遹有些害怕，就拉著祖父的袍子想躲開火光。司馬炎見他惶恐的神情，有些好笑，就抱起他問道：“沙門，你在害怕什么？”
司馬遹就說：“我怕，怕您發生什么意外。”
他還記得當時祖父的神情，祖父先是一愣，臉上的皺紋漸漸如花朵般綻放開，呵呵笑出了聲。他抱著司馬遹，對隨行的廷尉傅祗緩緩說：“這小兒將會興旺我家社稷呀！”
這是司馬遹第一次聽說社稷兩字，他還是很迷惑：“祖父說的是我嗎？”