商湯首創港式粵語AI大模型 通曉本地文化 評測勝GPT-4 Turbo
原文刊於信報財經新聞「EJ Tech 創科鬥室」
商湯(00020)上月發布最新大模型「日日新SenseNova 5.0」,在知識、推理、數學及代碼等能力大幅增強,綜合能力全面對標OpenAI GPT-4 Turbo,昨於十周年誌慶啟動禮加推SenseChat粵語版。同時,又與重點本港合作夥伴,包括德勤中國、長興吉數科技、香港電訊(06823)簽署合作備忘錄,推動香港業界應用人工智能(AI)。商湯股價昨曾漲逾11%,收報1.37元,升4.58%。
商湯科技聯合創始人林達華認為,香港是個華洋雜處的多元文化社會,形成獨特的語言環境及文化。
能理解「磅水」 懂辨識劉德華
作為首個能理解粵語俗語的大模型,SenseChat粵語版採用了混合專家架構,基於超過10TB Tokens訓練,推理上下文窗口達20萬字;在SuperCLUE及OpenCompass兩大基準測試,SenseChat粵語版得分勝過GPT-4 Turbo,在後一個測試中,平均分更緊貼OpenAI最新模型GPT-4o。
林達華表示,SenseChat粵語版比OpenAI優勝之處,在於模型擅長理解香港俗語,例如「白車」(救護車)、「磅水」(畀錢)等,亦可辨識劉德華等本地藝人。在示範中,有更多日常生活例子,例如上傳一張連鎖快餐店價錢牌圖片,再詢問AI模型:「呢度有幾個套餐,幫我揀一個。」AI便會推理及計算價格,推薦較為便宜的套餐。
記者實測可見,商量「多模態智能助手5.0」不但精通粵語,口音相對純正 ,還能精準解析PDF/Word/PPT等多種數據格式檔案,也懂得回答「香港有咩玩?」現場亦展出另一款「商湯日日新.商量—擬人大模型」,支援個性化角色創建與定製,可長對話記憶、知識庫構建及多人群聊,有望應用於情感陪伴、影視動漫或藝人AI分身,例如與多啦A夢、馬斯克等虛擬角色聊天。
連接全國算力 在港建雲區域
多模態模型必須有強大算力支持,商湯科技聯合創始人陳宇恆提到,該企營運GPU(圖像處理器)數量達45000卡,全國總算力規模達12000P(PetaFLOPS),連接了香港、深圳、上海及福州等多地的算力網絡。陳宇恆透露,今年6月將在香港建設本地AI雲區域,除了可降低調用延遲90%,亦可滿足本地安全合規要求,賦能金融、旅遊、影視、教育等不同產業。
商湯科技ABG香港業務總經理馮愈介紹,商量粵語Web版本一次最多可上傳50個文檔,除了能理解統計圖資料,更可總結指定頁數內容。針對商用的商量粵語API(應用程式介面),最大支援128K窗口;以100萬Tokens計算,輸入及輸出收費均為30港元,揚言是全網旗艦大模型最低價。他預告七一回歸紀念日,將正式向公眾開放商量粵語Web,以及iOS與Android版本手機應用程式,支持粵語答問及網絡搜尋功能,標榜永久免費。
馮愈接受傳媒專訪時稱,商湯前後花了約6至8個月,以內地電力訓練粵語模型,本港市場暫看不到有競爭對手。對於國內AI模型爆發價格戰,他不同意行業正在整合,市場正處於高速增長,未來需加快教育客戶。他指出,香港相當重視數據私隱,尤其政務、金融、醫療等本地客戶,特別傾向私有雲模式,將在本地推出AI一體機,端側及雲端可協同應用。