大模型里的關鍵工作，包括自注意力機制丶多頭注意力丶位置編碼這些，尼蘭詹都有深入的研究，畢竟他研究的重要方向之一就是nlp。
扎克伯格欣喜過望，覺得自己找對人了。
“巴拉蘇布拉馬尼安教授，在訓練llm中，你是如何處理過擬合或者欠擬合問題呢？”
“大規模訓練，預訓練涉及在海量無標簽數據上學習通用表示，我們可以通過掩碼語言建模或下一句預測；另外微調在特定任務數據集上調整權重，實現遷移學習。
針對過擬合，我認為使用正則化和dropout，比如說在bert變體中dropout率0.1，并應用早停機制；欠擬合時，增加模型深度或數據增強。
在之前的項目中，我通過梯度裁剪處理訓練不穩定，在glue基準上將過擬合率從15%降至5%，這能幫助大模型訓練在多任務適應中更高效。”尼蘭詹成竹在胸。
問這個，對我而言不是小意思？
扎克伯格后續又問了一些關于參數高效微調丶多模態模型主要挑戰丶幻覺成因及緩解策略等問題，尼蘭詹對答如流。
扎克伯格聽完之后，確定自己找對人了。
對方被關在監獄一年多時間，出來還能侃侃而談，追上最新進度，一眼就是大模型領域的先驅人才。
再者，對方還教出了倫道夫·林這樣的頂級天才，對方能搞深紅，我們meta在巴拉蘇布拉馬尼安教授的帶領下，搞個深藍出來不過分吧？
扎克伯格本來就保持笑容的臉龐笑得更開心了：“巴拉蘇布拉馬尼安教授，歡迎你加入meta，未來將由你擔任meta的首席科學家，帶領我們一路前行。”
他按了下桌上的按鈕，meta的工作人員走了進來，拿來了一份合同，扎克伯格遞到尼蘭詹面前：“巴拉蘇布拉馬尼安教授，恭喜你，你將成為億萬富翁。”
尼蘭詹拿起來一看，驚呆了，年薪一億美元。
這個數字都讓他有點不敢簽了。
扎克伯格能把他撈出來，那肯定也能把他再送進去。
一億美元的年薪，自己要是做不出東西來，到時候不會被關到死吧？
“老板，這個數字是不是太多了一些？”尼蘭詹小心翼翼道。
扎克伯格也震驚了，居然還有印度裔會主動嫌工資太高？meta印度裔高管一大把，印度裔的科學家也不在少數，都只會和他說我有多少多少貢獻，暗示能不能加薪。
尼蘭詹還是他見過第一個，覺得工資太高的印度裔。
“不，巴拉蘇布拉馬尼安教授，你放心，這個價碼一點都不高。
你剛從監獄里出來，還不清楚這個世界最近這一年發生了什麼。
你要知道發生了什麼，你就會知道，這個數字很合理。”
扎克伯格說完之后，尼蘭詹又粗略看了一遍，然后在合同上簽下自己的名字。
扎克伯格面帶笑意，和他握手拍照留念。
第二天，meta官方就發表了對外公告：
“公司將任命知名人工智慧專家尼蘭詹·巴拉蘇布拉馬尼安教授為公司首席科學家，負責領導人工智慧大模型的研究工作。
這一任命正值生成式預訓練transforr模型橫空出世，引發全球ai革命之際，meta致力于加速開源ai創新，推動更安全丶更高效的ai技術發展。