雖然李由比陳旭年長一倍，但眼下兩人的身份地位相差懸殊，因此李由從進入書房起便一直表現的非常小心和恭敬。
當初李斯在時，李相府也如同今日的清河侯府一般喧囂熱鬧，每日車馬比肩賓客盈門，但時移世易，自從李斯去世之后昔日熱鬧的左相府也瞬間就門前冷落車馬稀，很快就被萬眾遺忘在了咸陽城的某個角落里。
李由回京師任職，還是住在舊日的相府之中，但府中卻冷冷清清沒有了往日的奢華和喧鬧。
李由猶還記得，自己當年隨父親移居咸陽，從小受父親諄諄教誨，要做一個目光遠大輔佐君王的賢臣，而他也親眼看著父親從呂相府中一個家臣小吏，最終一步一步登上大秦的權力中樞，封上卿居左相，一人之下萬人之上，秉持朝堂推行法令，成就天下敬重害怕的一代權臣。
而他也在父親的光環籠罩下，直接舉薦當了三川郡守，駐守東都洛陽。
三川郡與咸陽近在咫尺，而洛陽也可以看作是中原通往關中的最后一道門戶，函谷關就在其掌控之下，把如此重要的位置交給李由牧守，由此可見始皇帝對李斯一家的恩隆和信任。
數年前李由曾告歸咸陽，李斯置酒于家，百官長皆前為壽，門庭車騎以千數。李斯深有感觸地說：“當今為大臣者位無高于我者，我可以稱為富貴之極了。”
可惜三十年河東三十年河西，世間沒有長盛不衰的王朝，也沒有長盛不衰的世家。
李斯病死，富貴之極的李府也轟然垮塌下去，瞬間就變的稀疏冷落起來，滿朝大臣和文武公卿拍馬屁的對象變成了清河侯陳旭。
李由從未把父親的死和任何人聯系起來，畢竟年紀快七十歲的人了，無論病死老死都極其正常，因此李斯死后李由也沒太過多想，運送李斯靈柩歸鄉厚葬，然后繼續回洛陽當他的三川郡守。
而且沒有了父親在朝堂的幫助，李由也以為自己這一輩子都只能當一個郡守，但卻不想突然間一份諭令通傳到三川郡守府，始皇帝要調他去咸陽當新籌備的海關署丞。
郡守是三品，署丞也是三品，但兩個三品的地位和重量完全不一樣，權利更不一樣。