關于chatgpt
1、chatgpt:更智能的ai對話交互工具
chatgpt是由openai公司于2022年11月發布的聊天機器人模型,可以通過對話形式實現交互,能夠回答連續問題,承認錯誤,質疑不正確的前提,并拒絕不合理的需求。chatgpt的對話互動可以實現普通聊天、信息咨詢、撰寫詩詞作文、修改代碼等,由于更類人的智能化表現,chatgpt推出后受到廣泛關注,上線不到一周用戶量突破100萬。2023年1月,微軟ceo表示計劃將chatgpt等人工智能工具整合到所有產品中,并作為平臺提供給其他企業使用。buzzfeed和亞馬遜也在探索chatgpt應用場景。
gpt引入新的模型訓練方法,ai行業發展有望加速gpt通過transforr為基礎的預訓練語言模型,此前已公布gpt-1、gpt-2、gpt-3三個模型,chatgpt是對gpt-3模型(又稱為gpt-3.5)微調后開發出來的對話機器人。chatgpt引入了rlhf(基于人類反饋的強化學習)方法,
方法分為三個步驟:1)有監督地調優:預訓練的語言模型在少量已標注的數據上進行調優,以學習從給定的propt列表生成輸出的有監督的策略(sft模型);2)模擬人類偏好:標注者們對相對大量的sft模型輸出進行投票,創建一個由比較數據組成的新數據集,訓練建立模型(rm);
3)近端策略優化(ppo):使用rm作為強化學習的優化目標,利用ppo算法微調sft模型。我們認為,chatgpt的成功展示出ai大模型的應用潛力,新方法的引入有望加速nlp算法及ai行業發展。
3、巨頭堅定投入,開啟ai新浪潮2023年1月18日,微軟宣布將于3月底前在全球裁員1萬人,約占員工總數的5%;1月23日微軟在其官方博客宣布,已與openai擴大合作伙伴關系,微軟將向openai進行一項為期多年、價值數十億美元的投資,以加速其在人工智能領域的技術突破,此前微軟已分別于2019年和2021年對openai進行投資1月20日,谷歌母公司alphabet宣布將裁員約1.2萬人,占該公司員工總數的6%以上,同時谷歌ceo表示,公司將會進一步聚焦ai技術核心業務的研發投入。我們認為,微軟、谷歌、亞馬遜等全球巨頭堅定投入ai,展現出ai應用廣闊的發展前景,ai行業有望開啟新發展浪潮。
chat-gpt的成功,是在前期大量堅實的工作基礎上實現的,不是橫空出世的技術跨越。這些進步主要來自數學層面上的優化帶來的結果匹配精準度提高,而并非算法真正為ai帶來了創造性與完整的邏輯性,也不是能夠從訓練的數據中學習到新的知識。它在“解鎖”(unlock)和挖掘gpt3學到的海量數據中的知識和能力,但這些僅通過快速地i的方式較難獲得。instuctgpt找到了一種面向主觀任務來挖掘gpt3強大語言能力的方式。因此從這樣的底層技術邏輯出發,我們能迅速找到中短期內適合chat-gpt的產業化方向:一個真正全方位的智能內容生成助手。
chat-gpt的成功證明了兩點:1)單純擴大模型參數并非唯一出路;2)讓模型再造定期開放給大眾測試并收集人類反饋數據更有利于模型迭代。之前兩個階段,人工智能的進展更多體現在基于規模的技術突破,如2015-2020年,用于模型訓練的計算量增長了6個數量級,同時隨著規模的增大,輸出結果的質量亦迎來質變,在語言文字、書寫、圖像識別等領域皆表現出超越人類的水平。但在使用層面,由于所需要的算力巨大,往往需要特殊的gpu配置,同時訓練過程相對封閉,大多數人并無法使用,因此技術無法被多數人觸達。而人工智能的第三個階段,隨著更新的技術、更優的算法、更大的模型出現,算力的成本越來越低,使得模型訓練與運行所需成本持續下降,而算法從封閉測試到開放測試、開源的逐漸普及,亦降低了使用門檻。由此人工智能無論在經濟性與可獲得性上都達到了支持普及的水平。
注:(免責申明)本文僅為個人筆記,內含個股僅僅是作為分析參考,不能作為投資決策的依據,不構成任何建議,據此入市風險自擔。股市有風險,投資需謹慎!
知音難覓,也是人生常態,一曲眾寡,盡管少有人懂,但是我自有我的風采
見者點贊,腰纏萬貫!股運長虹,感謝諸君關注.點贊.評論.轉發!最近轉碼嚴重,讓我們更有動力,更新更快,麻煩你動動小手退出閱讀模式。謝謝</p>