桓譚也到了人生低谷，他遇上了類似“濫竽充數”故事里的段子，漢成帝喜歡舞樂，而繼位的漢哀帝厭惡音樂，竟撤銷了宮廷樂府，單位都沒了，桓譚自然也該干嘛干嘛去，樂官們紛紛再就業，桓譚因為人際不行，遂被安排做了一個“典漏刻”，工作就是盯著漏刻，校正時間報時，隸屬于天官……
氣歸氣，但桓譚那幾年也沒浪費，雖然對什么神仙方術缺乏篤信，可日月星辰，卻是他興趣所在，他開始白天黑夜一日數次觀察著太陽和星宿的運行軌跡和方位變化，然后把這些細小的變化記錄下來，再對漏刻進行核校。
他和讖緯的梁子，就是那時候結下的，每當桓譚發現古人未曾記錄的日月星辰運行規律，興沖沖地想要上奏時，迷信的皇帝卻只聽信身邊公羊派、讖緯家、方術士叨叨“天人感應”，將自然的變化看成是“天”發出的預兆，據此肆意揣測，妄加詮釋。
神秘的天文和讖緯攪和在一起，如同一盆清水染進了污穢的墨汁，那廣闊無垠的天空、遙遠神秘的天體，更加迷障重重。
桓譚只覺得眾人皆醉我獨醒，唯一讓他欣慰的是，他成功將已成好友的揚雄，從錯誤的“蓋天說”，拉到了他篤信的“渾天說”一派中。桓譚對揚雄文采學識十分敬佩，但二人在學術上若看法不同，必是針鋒相對，爭得面紅耳赤。但在那個寒冷的冬日中，桓譚以無懈可擊的實證與邏輯說服了揚雄，這對落難兄弟，開始背靠背，與讖緯家和天官們做斗爭，朋友之外，又多了“袍澤”之情。
那就是在那段時間里，揚雄完成了《太玄》的創作……
桓譚從過去的回憶里緩過神來，發現全場的群臣諸儒都在看著自己，而他在大呼“揚子云乃儒門自漢之后第一人”后，已經緘默了好一會，是啊，他不止要提出，還得證明！
“諸位可曾看過《太玄》？”
桓譚環視左右，然而響應者寥寥，就算是看過的人，也是因為揚雄是第五倫老師，才連忙去補的，畢竟第五倫為了宣揚先師學問，已經將揚雄著作完成了出版，是市面上最容易找到的比五經還容易。
即便如此，因為《太玄》始終沒被第五倫列入考試內容的緣故，依舊讀的人不多，眼下只借口說：“子云翁著作艱澀深奧，吾等未能讀懂，但頗受震撼……”
豈料桓譚卻順著話道：“然也，讀不懂《太玄》，確實是學問不足！”
想當初揚雄嘔心瀝血，將這本書寫出來時，世人皆不以為然，只有桓譚讀后拍案叫絕，大加稱贊。
現在，他就將自己的贊譽原封不動，當眾表明：“玄，就是天道。古代圣賢制定法度，皆以天道為本統，之后才能理清帝王、朝政、人事、法度以及萬事萬物關系。因此，伏羲稱之為《易》，老子稱之為‘道’，孔子稱之為‘元’，而揚雄稱之為‘玄’。太玄三篇，立三體，道盡了天、地、人之道，自《易》后見所未見。”
換了過去，桓譚若如此說，肯定肯定無數人起來和他爭辯，可眼下卻一片緘默。
第五倫當然知道原因，今天的會議，背后推手、主持者都是揚雄的弟子，作為太學祭酒的桓譚則是揚雄老友，用后世一句話說：“經理，隊員，解說，全都是我的人。”這時候問眾人誰支持誰反對，誰敢反對？
這種與揚雄生前飽受嘲弄鄙夷截然相反的情形，讓桓譚感慨不已，但他不愿意讓這件事，單純是因第五倫權勢所壓，遂道：“既然諸君不愿說揚子云不足，好，便都由我說了罷！”
“揚子云不善言辭，嗜酒，不修邊幅，酩酊大醉后便不辨東西，胡言亂語，此一弊也。”
“揚子云膽小，王莽執政時，子云卷入謀反案，天祿閣來了幾位獄吏要拿他去審問，子云不敢爭辯，嚇得縱身從天祿閣跳了下去，摔成重傷，此二弊也。”