連帶著,莫遠游他們都有些尷尬。
王霽淡淡一笑:“鐘教授,您太客氣了啊,本來就是解決你們的問題,當然是你們申請專利,我不需要的。”
鐘景航喜出望外,連聲感謝:“專利獎勵一定發給你!”
王霽擺擺手:
“別客氣。”
“讓莫總他們來分吧,他們寫的。”
“這些天他們也很辛苦!”
“要不是莫總幫忙,我也搞不定。”
格局,這就叫格局!
莫遠游今天的心情很搖擺……
一大早還在質疑,后來是驚喜,再是羞愧,進門后是敬佩和仰慕。
此時則是心悅誠服、五體投地,笑容滿面道:“難怪王總年紀輕輕就做副總裁,技術深不可測,氣量更深不可測啊!”
鐘景航笑吟吟握住王霽的手:
“小王,你幫了我大忙!”
“之前說有重謝,這就別推辭……”
朝屬下員工使了個眼色,讓他們出去,自己要說其他事。
莫遠游幾人正要走,王霽忽然揚起左手:“先等等,我還有個提測。”
啊——
會議室的人都驚呆了。
莫遠游問:“還有提測是什么意思?那幾個點是分批提的么?可是,剛才我們測試驗證都沒問題了啊……”
鐘景航也一臉詫異,猜不出王霽的話是什么意思。
王霽笑吟吟道:“不是那幾個點,那個問題我昨天就搞定了……”
將電腦屏幕轉了過去:
“我看代碼的時候,還發現個問題……”
“你們處理大模型高稀疏矩陣效率很低,無效占比計算超過65%。”
“而且,用的加速方案需要固定稀疏模式,無法適配動態稀疏。”
“如果稀疏矩陣的非零元素位置隨機,你們cache命中率下降了50%多。”
“多核并發計算時,稀疏任務分配不均,閑的閑死,忙的忙死。”
“我就順手解決了……”
他對著電腦滔滔不絕。
絲毫沒留意到,幾個人表情越來越詭異。
聽著聽著,已經沒在看電腦,而是將目光都鎖到他臉上。
王霽繼續說方法:
“我的優化策略是……”
“首先,增加稀疏模式檢測單元,實時識別矩陣中的非零塊。”
“用硬件實現自動掩碼,根據當前稀疏模式來生成,跳過全零塊。”
“然后,在noc上集成優先級仲裁器,將稀疏計算任務拆分為細粒度子任務,高稀疏度任務優先分配至空閑核。”
“最后,利用你們芯片已有的稀疏、密集模式,增加動態閾值判斷。”
“整體下來,transformer推理服務模擬測試延遲能降低50%以上。”
“因為減少了稀疏計算的能耗,邊緣側芯片推理功耗降低40%以上……”
這個問題,是其余紅點的報錯。
今天花大半天搞定的。
反正,閑著也閑著……
就當買一送一。
講完后抬起頭,看到幾張幾乎在淌口水的臉。
莫遠游擦了擦嘴,轉頭望向同樣找不著下巴的ceo。
鐘景航怔了半晌,才反應過來。
咽了口唾沫,對王霽道:
“小王,這個問題是我們下個版本要解決的……”
“我們準備投入20個人,集中半年時間,爭取在年底前攻克……”
:<a>https://m.81efdc260.xyz</a></p>