日本 Empath 宣布,由 Square Enix 自 2023 年 1 月底開始在 PS5 與 PC 推出、Luminous Productions 開發的《Forspoken 魔咒之地》,由於採用 Empath 自家的「DeepEmo」AI 技術,因此在表情動畫的製作工時上成功削減 95%的支出。
由之前曾推出聲音感情解析 AI「Empath」的 Empath 所推出的「DeepEmo」,是一個能夠解析錄製的台詞對話語音,並於每 0.32 秒產生一個不斷變化的感情值數值進行演算的技術。DeepEmo 會透過 Empath 所擁有的感情表現語音為基礎進行深度學習,來針對角色「平常/生氣/恐怖/厭惡/高興/悲嘆/幸賴/興趣/驚訝」等九種感情進行演算。
由於在目前遊戲開發製作上,想要表現出 3D 角色的表情動畫,動畫師需要針對每個角色手工進行每種表情的模組製作,整體製作起來需要非常多的時間,尤其遊戲內登場的角色或台詞愈多,所需要耗費的動畫師工時成本也就愈高。
但在《魔咒之地》中,開發團隊則是採用不同的做法。藉由 DeepEmo 技術的使用,讓團隊將傳統動畫師每個人需要花費一個工作天時間製作出的台詞表情動畫,如今只要約兩分鐘左右就能製作出來,整體來算節省了約 95%左右的製作時間。簡單來說,原本製作 1,000 分鐘左右的台詞動畫需要花費動畫師約 500 工作天,如今只要使用 DeepEmo,就只要約 25 工作天左右就能完成。
對此,Luminous Productions 開發團隊美術總監「岸 明彦」與首席臉部動畫師「田中 雄介」表示,「在這次的開發案中使用 Empath 從語音來分析感情,雖然對我們是首次的挑戰,但卻獲得了充分的結果。雖然還有很多需要改善的地方,不過大多都是與負責處理 Empath 輸出資料結果的 Luminous Engine 引擎這邊有關。
另一方面,過程中也有演員的演技與感情評價不一致的狀況發生。為了提升遊戲分野的正確性,因此覺得會許惠有需要加入演技相關的學習模組才行。對遊戲業界來說,活用語音感情解晰的方式目前還在黎明期開創階段,我們很期待這方面今後的發展會如何。」
而對於這次合作結果,Empath 則是期許 DeepEmo 今後除了能活用在遊戲製作上外,也希望能用在包括元宇宙、Vtube 從角色台詞到表情生成等方面,藉此來擴大活用範圍進行販售。同時,也會接受例如像是客戶提供自己保有的語音資料來進行結果解析這樣的專案方式,今後也預定會以 SaaS 軟體即服務形式的 API 形式提供消費者使用。