AI輔助開刀｜AI手術大模型助醫生開刀 理解生命體徵MRI超聲波等
原文刊於信報財經新聞「EJ Tech 創科鬥室」
人工智能（AI）推動醫學進步，為手術帶來更多突破進展。中國科學院香港創新研究院人工智能與機器人創新中心（CAIR），昨天發布人工智能多模態大模型CARES Copilot 1.0，能理解圖像、文本、語音、短片、磁力共振（MRI）、電腦斷層掃描（CT）、超聲波等手術數據，已在多間醫院實地內部測試及持續優化。
經測試後發現，系統能幾秒內完成百萬級數據的快速檢索，並保持高達95%的回覆準確率，猶如醫生的手術顧問。
中國科學院香港創新院AI中心執行主任劉宏斌指出，CARES Copilot 1.0的一大特色，在於能對手術流程進行多模態處理，包括醫生操刀動作、手術部位短片，甚至病人生命體徵的理解，將之提取為基本語義訊息。對以上訊息提取語義後，再利用語言大模型進一步推理出更高級的理解。
達神經外科專家水平
舉例，對於手術階段的識別、手術風險的評估、手術方案調整等，最終直接面向臨床專家服務，包括手術報告生成、質量評估、教學培訓、過程指導等。劉宏斌表示，為了未來把醫生的工作空間智能化，團隊期望CARES Copilot 1.0有朝一日，有能力與手術室內所有醫療器械互動。
談及CARES Copilot 1.0優勢時，劉宏斌稱，該AI多模態大模型利用神經外科的專業知識作全方位訓練。為了令模型達到神經外科專家的水平，收集了大約兩萬多名病人的數據，其中一些影片更對器械、解剖作出標註，以及總數過萬項的國內外神經外科指南；並且構建了手術全模態感知技術，使它能處理不同模態訊息，比如術前CT內鏡圖像等。
同時，大模型具備自主研發的檢索增強回答功能，能提供可解釋性、可追溯性、多模態的訊息交叉檢索，可在幾秒鐘內完成百萬級數據檢索並提供答案，聲稱回覆準確度高達95%。
相當於3000頁教材作培訓
此外，CARES Copilot 1.0具備長達100K的上下文窗口理解與高效分析能力，相當於處理超過3000頁的複雜手術教材，並按照需求給予回答，對年輕醫生培訓及教學具極高實用價值。
支持EJ Tech
如欲投稿、報料，發布新聞稿或採訪通知，按這裏聯絡我們。
