就在剛過去的周末,國產AI大模型反超,一舉登頂美區蘋果應用商店免費App排行第一,引發硅谷關注。
在國內各大社交媒體上,更是引起了廣泛討論,“中國AI大模型震動華爾街”“全球掀復現狂潮”“登頂美區蘋果下載榜”等等話題迅速沖上熱門。另外,《黑神話:悟空》制作人馮驥、金沙江創投朱嘯虎也紛紛下場推薦。
對標 o1,用更少的卡訓練出效果差不多的模型
就在1月20日,剛發布了性能對標 o1 正式版的R1大模型,并同步開源模型權重。據悉,-R1 在后訓練階段大規模使用了強化學習技術,在僅有極少標注數據的情況下,極大提升了模型推理能力。在數學、代碼、自然語言推理等任務上,性能比肩 o1正式版。
值得一提的是,在模型訓練費用昂貴的當下,僅僅花費了560萬美元訓練R1模型,但該模型在很多AI基準測試中已經達到甚至超越 o1模型。另外,不少開發者嘗試復現 -R1。比如,伯克利 AI 研究所在讀博士潘家怡(Jiayi Pan)就遵照 R1-Zero的算法復現,結果只用了不到30美元的計算成本,就讓其項目中的模型擁有了自我驗證和探索的能力。
牛津大學博士、百度前高級科學家吳俊德在社交媒體上表示,在海外已被吹上天了,其認為行業貢獻而言:GPT>>>llama及其他。談及引起關注的原因,吳俊德表示,“很多人的著眼點在于用很少的卡也能訓練出效果差不多的模型,但這是結果,更重要的是這次證明了純粹的 Rl能夠直接把模型提到o1水平,在他出來之前,業內所有人都認為需要prm( model)才能做到這點,這已經是顛覆行業的發現。”
吳俊德還提到,這意味著,“用更少的卡訓練出效果差不多的模型”可能不僅僅是節約成本這么簡單,更是一種新的進化方式,意味著在這種方法往上堆更多的卡有可能把模型能力再往上提升一個數量級,甚至直接達到AGI(通用人工智能)。
《黑神話:悟空》制作人:“可能是個國運級別的科技成果”
1月26日晚,游戲科學創始人、CEO,《黑神話:悟空》制作人馮驥也發了一篇長微博推薦。他表示, V3已經用了一個月,但R1僅僅用了5天,不得不來發這條微博。“先講一句暴論:可能是個國運級別的科技成果”。
馮驥打了個比方說,如果有一個AI大模型做到了以下的任何一條,都是超級了不起的突破。“一是強大到比肩O1的推理能力,暫時沒有之一;二是便宜,參數少,訓練開銷與使用費用小了一個數量級;三是開源。任何人均可自行下載與部署,提供論文詳細說明訓練步驟與竅門,甚至提供了可以運行在手機上的mini模型;四是免費,目前提供的服務完全免費,任何人隨時隨地可用;五是聯網,暫時唯一支持聯網搜索的推理模型(o1還不支持);六是本土,深度求索是一家很小規模的年輕中國公司,由沒有海外經歷甚至沒有資深從業經驗的本土團隊開發完成。”
金沙江創業投資基金主管合伙人朱嘯虎也在社交媒體上表示,“登頂美區App Store,是技術理想主義者的勝利,最難的是最簡單的。專注于技術和創新,遠勝投放買流量和PR;二是行業技術迭代周期遠快于資本支出的回報周期,前期的重資本投入還未取得充分回報,就已經過時,需要加速折舊攤銷,整個LLM行業都需要重塑估值體系;另外給民營經濟生長的縫隙,不需要政府投入,回報遠超產業政策的扶持。”
公開資料顯示,是幻方量化旗下的AI公司,創立于2023年,幻方量化創始人梁文峰在量化投資和高性能計算領域有深厚背景,畢業于浙江大學電子工程系人工智能方向的。一直走開源、性價比路線,一直被冠以“AI界拼多多”的名號,至今還沒融過資。
去年5月,發布-V2,價格是GPT-4-Turbo的近百分之一,“AI界拼多多”瞬間聲名鵲起。去年12月,還發布了大模型-V3,因該模型“2048個GPU、2個月、近600萬美元”的極低訓練預算受到關注。
采寫:南都記者 林文琪
發表評論