知專師生創虛擬偶像與人共舞 4套系統操控表情動作
原文刊於信報財經新聞「StartupBeat創科鬥室」
李智健（右）稱，Yedda（熒幕中）擁有52個基本表情，組合起來有眾多變化；圖左起為鍾嘉淇及鄧百衡。（黃俊耀攝）
由香港知專設計學院（HKDI）數碼媒體學系師生有份創作的虛擬偶像（Virtual Idol）Yedda，上月在校內兩度獻技，與真人舞者譜出3分鐘雙人舞。負責操控的舞者，穿上一套內附17個感測器的特製緊身衣，結合表情捕捉、鏡頭追蹤等4套系統製作而成。從直播所見，Yedda與真人舞者互相走位，若不細心留意，可說難分真假。
Yedda造型參考日韓藝人
在幕前翩翩起舞的Yedda，是HKDI數碼媒體學系與時裝及形象設計學系師生共同創作的虛擬偶像，冀在疫境凝聚更多師生，帶來正能量。
參與製作的HKDI數碼媒體學系動畫及視覺特效高級文憑畢業生鍾嘉淇（Fay）及鄧百衡（Dennis）表示，「我們都希望這角色比較貼近年輕人，不停研究一些受他們愛戴的藝人，例如南韓知名女藝人IU（李知恩），希望融合有關元素及特質去創作。」
近年興起的虛擬偶像和團體，亦成為研究對象，包括日本虛擬女模特兒imma、電腦遊戲《英雄聯盟》推出的虛擬女子組合K/DA等。
Yedda（左）與真人舞者在作品展中大跳雙人舞。（YouTube截圖）
特製緊身衣藏17感測器
負責控制Yedda的舞者，事前須穿上一套特製黑色緊身衣，內藏17個感測器，配備續航力達9.5小時的電池；結合身體動態捕捉系統Xsens，其無線接收範圍，可涵蓋室內50米至室外150米。
演出時，學生須同時控制另外3套硬件系統，調節虛擬偶像的動作與神情，包括操控實時鏡頭追蹤系統Ncam、表情捕捉系統Faceware、手部動作系統Manus等。舞者亦須佩戴頭帶和手套，以捕捉其頭部及手部動作。
指導導師之一、HKDI數碼媒體學系講師李智健稱，鑑於製作虛擬偶像技術的難度相當高，加上今次表演的舞蹈動作設計較複雜，故夥拍一家多媒體互動設計公司，協助進行有關表演，也有助學生更了解行內準則及要求。
去年9月起，該學系已構思虛擬偶像項目，到今年6月，虛擬角色Yedda正式登場，兩度與真人舞者跳雙人舞，包括出席職業訓練局（VTC）機構成員之一的HKDI，聯同香港專業教育學院（IVE）李惠利院校上月舉行的年度設計展「Emerging Design Talents 2021」，以及HKDI原創作品展Motion in Music 2021。
鍾嘉淇強調每次演出前，都要綵排及多次校準；只要其中一部分出錯，就等於全部出錯。（黃俊耀攝）
在這短短9個月內，除了由零創作虛擬偶像，同時要兼顧公演內容。於早期測試階段，均由隊長鄧百衡穿上這件特製衣物及扮演偶像。作為男生的他沒半點馬虎，自言參考不少偶像表演，盡力做好每個表情與舞步。
要操控虛擬偶像，肢體動作固然重要，神情亦不可忽視。李智健指出，Yedda擁有52個基本表情，組合起來有眾多變化。不過，鑑於不同舞者的臉型、身形、高度等不一，故每次演出前，均須進行校準（Calibration）。鍾嘉淇補充，控制Yedda時要同時操控4套系統，絕不容易；團隊骨幹成員只有6人，每次演出前均要綵排及多次校準，確保表演萬無一失，「手部和身體動作、臉部表情、鏡頭等，只要其中一處出錯，就等於全部出錯，這亦是每次直播表演緊張刺激的原因。」
大專界自創虛擬偶像，結合真人同場表演，可謂一大突破。李智健稱，鑑於Yedda演出獲不少好評，他打趣道，可能有不少機構對Yedda感興趣，盼未來有更多演出機會。
採訪、撰文：蔡璿驩
在早期測試階段，鄧百衡直言參考不少偶像表演，盡力做好每個表情與舞步。（黃俊耀攝）
延伸閱讀：
延展實境代綠幕電影後製更省時
支持EJ Tech
如欲投稿、報料，發布新聞稿或採訪通知，按這裏聯絡我們。
