感知任務與推理任務的確有著不同的計算特性,但我認為林教授是不是高估了硬件在這種分工中的作用
目前的深度學習框架可以做到任務的并行化處理,并且大多數高效的推理任務也可以在同一硬件上完成。
不同的計算方式,能否真的改變現有架構我對此持懷疑態度。”
克里斯的問題讓人有些質疑,但并不輕易放棄。
就在他剛說完,人在東京的首席架構師伊利亞蘇茨凱弗立刻回應了他:“你說得沒錯,現有的框架能處理某些任務的并行化,但這只是對感知任務的部分優化。
但我們都知道,現有的硬件瓶頸存在。
在gpt系列模型的推理過程,大量的推理計算涉及長時間的推理鏈和符號計算,現在的gpu處理起來其實效率并不高,尤其在模型規模不斷增加時。
我們完全可以借鑒林教授的概念,構建一種專門的邏輯推理處理單元,與感知任務處理單元分開。”
伊利亞頓了頓,接著補充道:“而且,我們必須注意,ib和英特爾在這一方向上已有多年探索。
早在十年前,ib就提出過多重處理單元架構的概念,旨在通過將計算任務劃分為不同的模塊來提高ai的推理和感知效率。
英特爾則是在18年的時候提出了神經形態計算芯片的概念,試圖模仿大腦的功能,優化感知和推理任務之間的計算交互。
我認為林教授只是把英特爾的做法用一種更通俗易懂的方式總結了出來。
林教授站在ib和英特爾的基礎上,從理論層面論證了,要想把人工智能繼續往通用agi的道路上推,我們需要也必須走這條路。”
研究員安德魯卡普蘭說道:“沒錯,我在看完林教授關于人工智能的講話后,我特意去找了資料來看,英特爾在2017年的時候推出了他們第一款神經擬態芯片loihi。”
“神經擬態芯片”山姆奧特曼重復了這個詞語。
安德魯點頭道:“沒錯,眾所周知我們現在用的芯片只有0和1,它通過二極管模擬0和1的狀態,構建起龐大的計算網絡,它的內核是二進制。
但是我們人類大腦,不止有兩個信號,神經元和神經元之間是通過突觸來連接,一個神經元可以同時和很多個神經元連接在一起。
而loihi則是模擬神經元的芯片。
第一代的loihi每60平方毫米的芯片就有13萬個神經元,他們在2021年推出的第二代loihi芯片,擁有128個神經形態核心,loihi2每個核心的神經元是第一代的8倍的神經元。
同時,loihi2每個神經元可根據模型分配達到4096個狀態,第一代的限制只有24個,神經元模型類似fpga,完全可編程,具有更大靈活性。
簡單來說,硅谷已經具備了右腦芯片。
英特爾的loihi采用了神經形態計算架構,嘗試模仿大腦處理感知信息的方式,提出了感知-推理共融的概念。
實際應用中,這些神經形態芯片在某些任務上能夠發揮優勢,但在復雜推理任務上,效果卻并不顯著,與傳統的邏輯處理單元相比,并沒有得到預期的性能提升。
但問題是,現在林教授提出的架構,我們要同時利用右腦和左腦芯片,左腦的gpu已經成熟,右腦的loihi也已經相對成熟。
我們有充分條件去測試這一技術路線。
我們現在要做的是,把左右腦結合在一起,英偉達的左腦和英特爾的右腦。”
開源團隊負責人艾米張說道:
“我認為這種左右腦分工的理論有些過于理想化了,至少目前它的應用價值不大。我們能否有一個明確的案例,展示感知任務和推理任務必須分開處理的場景現階段的任務幾乎都是某些高并行度任務,在同一硬件上優化可以達到足夠好的性能。
難道我們要重建整個硬件架構嗎”
伊利亞回應道:“如果只是強化現有硬件架構,我們會始終停留在對大規模并行計算的依賴上。
真正的突破,正是通過左右腦分工,物理隔離不同計算任務,從而達到更高效的能量利用和計算優化。
而且你們有沒有認真聽林教授的發言,他在發言中透露了一個秘密,那就是胼胝體。