Don't Miss
Grok開源｜馬斯克xAI大模型 參數量全球最大
By 信報財經新聞 on March 19, 2024
原文刊於信報財經新聞「EJ Tech 創科鬥室」
美國億萬富豪馬斯克（Elon Musk）旗下AI初創公司xAI，正式開源3140億參數的混合專家（MoE）模型Grok-1，以及該模型的權重和網絡架構。Grok-1為現時參數量最大的開源大型語言模型（LLM），目前已在軟件代碼託管平台GitHub上架，發布19小時獲得超過2.1萬星標。
聊天機械人Grok在去年11月推出，回答問題時略帶詼諧及叛逆。xAI指正遵守Apache 2.0授權條款，以開源Grok-1的權重及架構，意味無論個人或商業用途，都可自由使用、修改及分發軟件。由於Grok-1模型規模達3140億，GPU（圖像處理器）需要有足夠記憶體（例如628GB），相當於輝達HGX 8×H100（每個80GB）等機器，才能使用範例程式碼作測試。
蘋果多模態LLM取突破
彭博報道，蘋果公司（Apple Inc.）正與谷歌（Google）洽商，把後者的Gemini模型結合在iPhone手機上。此外，蘋果在多模態大型語言模型研究亦取得突破，正建構一個300億參數的模型MM1，能夠在圖像字幕、視覺問題回答及自然語言推理等表現出色，稱視覺功能可跟OpenAI GPT-4V及Google Gemini競爭。
支持EJ Tech
如欲投稿、報料，發布新聞稿或採訪通知，按這裏聯絡我們。
