Don't Miss
AMD｜新開源項目讓PC運行大模型
By 信報財經新聞 on March 26, 2025
原文刊於信報財經新聞「CEO AI⎹ EJ Tech」
美國晶片巨擘超微半導體（AMD）日前發表開源項目GAIA（Generative AI is Awesome），讓安裝了微軟Windows的個人電腦可以運行人工智能（AI）大型語言模型（LLM），當中結合LLM與本地知識庫，進行簡單問答、摘要與推理任務。平台內建多個代理功能，包括聊天機械人Chaty、支援YouTube影片查詢的Clip、笑話生成器Joker等。
GAIA搭載了另一個開源的項目ONNX TurnkeyML提供的Lemonade軟件開發套件（SDK），並支援坊間現有的Llama、Phi等多種LLM產品。架構由三大元件組成，分別是LLM連接器、負責查找資料的檢索增強生成（RAG）管線，以及跟用戶作互動的本機代理伺服器。
今次GAIA提供兩種版本，通常版本可直接在所有Windows裝置使用，但效能會受到一定限制；另一混合版本專為AMD旗下Ryzen AI系列硬件而設，可調用神經處理單元（NPU）與整合型顯示晶片（iGPU）執行推論任務，進一步提高工作效率及減少能源消耗。
資料免上雲端 適合醫療等場景
AMD表示，在NPU本地執行LLM，毋須把資料傳輸至雲端，可以降低延遲及保障私隱，因此特別適用於醫療、金融、企業內部等場景，以及其他無法把數據放上雲端的行業。此外，GAIA本身屬於開源項目，有望鼓勵更多開發者參與，推動本地AI解決方案發展。
支持EJ Tech
如欲投稿、報料，發布新聞稿或採訪通知，按這裏聯絡我們。
