突破互動邊界:打造「複數 AI 角色」的類真人共演實況

26-08-26

撰文:商務行銷總監 許朝欽 (Bull Hsu)、編輯:行銷副理 呂宜家(Helen Lyu)

在過去一段時間裡,優必達的 AI VTuber「優必醬(UbiChan)」不僅突破了觀看次數的里程碑、累積了超過一萬小時的陪伴時數,更在優必醬團隊的共同努力下,試著在直播中引入了兩人甚至三人以上的 AI 角色互動,挑戰現有LLM框架限制下,讓優必醬能與小檸檬、小花等寵物貓咪,甚至與線上的觀眾,能在同一個房間裡進行自然共演與互動。

多角色共演:角色間進行交談、互相詰問

多角色共演:甚至觀眾會一起加入場景中,多人一起進行直播演出

很多企業在想像 AI 代言人時,往往以為只要接上最新的大型語言模型(LLM),一切就會水到渠成、自然可以聚眾吸引粉絲,但實際上,這背後往往需要許多精心設計的橋段,並且當場景轉移到「更多純 AI 角色在同一畫面閒聊」時,如果只是讓多個聊天機器人輪流念稿,那場面將會無比生硬且充滿機械感。

為什麼多角色聊天容易像「輪流念稿」?

一般的對話系統是「輸入一句、輸出一句」。但在真人的群聊中,基本單位不是完整的句子,而是「事件」:有人想糾正、有人聽懂笑點、有人搶答、或者有人不知所措。如果系統只在一個人講完後才選下一個,那角色就無法在別人說話時產生真實的反應。

為了解決這個問題,優必醬團隊將整個直播系統視為一個「即時即興表演系統」。我們追求的自然感,不是讓多角色無止盡地輪流說話,而是讓他們有狀態、有反應,甚至允許有限度的重疊、打斷與集體沉默。

混合架構:單一核心導演與事件驅動

在現階段LLM框架限制下(一次輸入一次輸出),要讓複數 AI 角色自然共演,我們不建議直接運行四套獨立的 LLM 各自為政。相反,優必醬團隊設計了「單一核心導演+多角色狀態+事件驅動互動+可中斷音訊排程」的混合架構。

單一核心導演 Agent:核心模型在整理摘要觀眾的留言內容後,不只提問「下一個誰來回答」,而是同時模擬場上所有角色(如優必醬、小檸檬、小花)的內在意圖、衝動強度與情緒。

事件驅動:互動不再是固定輪次,而是由語意、時間或表演動作等「事件」觸發。角色在沒有說話時,也依然維持著「活著」的狀態,隨時準備反應。

打斷、搶答與「有意義的沉默」

在類真人的互動中,不完美的微反應往往比長篇大論更真實。因此我們在系統中加入了以下設計:

  • 互相打斷:由內容和角色狀態觸發。當發生重大錯誤或主講者說太久時,插話者會在子句邊界介入,並允許 300 至 800 毫秒的音訊重疊。
  • 低成本反應:加入笑聲、附和、嘆氣等短語音與動畫。這些反應由規則即時觸發,能大幅降低 LLM 與 TTS 的延遲感。
  • 戲劇性沉默:遇到冷笑話或尷尬問題時,1.5 至 3 秒的集體沉默、執行動作或表情,本身就是一種表演,而不是程式當機。

角色共演時,打斷對話對話

將複雜化為流暢的視聽體驗

要將這些意圖化為現實,音訊與動畫的時序控制至關重要。每個角色都被視為獨立的音訊通道,支援串流輸出、隨時取消、淡出與子句接回。在視覺上,我們透過單一的場景來管理所有角色,讓角色彼此間在同個空間中的互動,成為共場感的核心。

這些看似幕後的技術細節,正是優必醬團隊一點一滴打磨出的心血。從單一 VTuber 的陪伴,到挑戰多角色的流暢共演。的確,以目前的核心導演Agent的技術,還有許多不成熟之處,大量的短中長期記憶、RAG導入時,反應沒想像中那麼即時,但也許在不遠的將來,大型語言模型進化到下個階段時,多AI角色的共演,說不定又有新的設計方法,能再次突破。

但不管如何,我們深知要撐起一場「有節目感」的實況,背後需要極致的低延遲算力與多工協作,這也是優必達持續優化 GPU 雲端基礎建設與推出 UbiOne 平台的初衷——讓技術的複雜留在後台,讓互動的靈魂在舞台上綻放。


關於優必達

優必達(Ubitus)是首家獲得 NVIDIA 投資的台灣科技公司,在 GPU 虛擬化技術與 雲端串流技術領域具備全球領先地位,並持續為各產業提供世界級的雲端與 AI 解決方案。

優必達與 國立臺灣大學(National Taiwan University)、東京大學(The University of Tokyo) 等頂尖學術機構合作,致力於開發符合在地語言與文化脈絡的 繁體中文與日文大型語言模型(LLM)。

同時,優必達亦提供多元的 AIGC(AI 生成內容)服務,包括:

  • UbiArt:AI 圖像生成服務
  • UbiONE:AI 虛擬角色解決方案
  • UbiAnchor:AI 虛擬新聞主播
  • Ubi-chan(AI VTuber):官方品牌大使,展現優必達在生成式 AI 領域的創新成果

作為雲端遊戲領域的全球領導者,優必達提供完整的一站式解決方案,協助遊戲開發商快速將遊戲導入雲端,並支援電信業者建置自有的雲端遊戲平台。此外,優必達的技術亦廣泛應用於全球互動式媒體與虛擬實境(VR)內容的即時串流服務。

 

聯繫我們

TEL : +81-3-6435-3295 (Tokyo)

+886-2-2717-6123 (Taipei)

Media contact: pr@ubitus.ai

Business inquiry: contact@ubitus.ai

Website: www.ubitus.ai