Don't Miss
Grok開源|馬斯克xAI大模型 參數量全球最大
By 信報財經新聞 on March 19, 2024
原文刊於信報財經新聞「EJ Tech 創科鬥室」
美國億萬富豪馬斯克(Elon Musk)旗下AI初創公司xAI,正式開源3140億參數的混合專家(MoE)模型Grok-1,以及該模型的權重和網絡架構。Grok-1為現時參數量最大的開源大型語言模型(LLM),目前已在軟件代碼託管平台GitHub上架,發布19小時獲得超過2.1萬星標。

聊天機械人Grok在去年11月推出,回答問題時略帶詼諧及叛逆。xAI指正遵守Apache 2.0授權條款,以開源Grok-1的權重及架構,意味無論個人或商業用途,都可自由使用、修改及分發軟件。由於Grok-1模型規模達3140億,GPU(圖像處理器)需要有足夠記憶體(例如628GB),相當於輝達HGX 8×H100(每個80GB)等機器,才能使用範例程式碼作測試。

蘋果多模態LLM取突破
彭博報道,蘋果公司(Apple Inc.)正與谷歌(Google)洽商,把後者的Gemini模型結合在iPhone手機上。此外,蘋果在多模態大型語言模型研究亦取得突破,正建構一個300億參數的模型MM1,能夠在圖像字幕、視覺問題回答及自然語言推理等表現出色,稱視覺功能可跟OpenAI GPT-4V及Google Gemini競爭。
支持EJ Tech

