インタラクションの境界を越えて：「複数AIキャラクター」による人間らしい共演ライブを実現する
26-08-26
Author: Bull, BD & MKT Director | Editor: Helen, Deputy Marketing Manager
これまでの期間、ユビタスのAI VTuber 「ユビちゃん（UbiChan）」 は、視聴回数のマイルストーンを突破し、1万時間を超える寄り添い時間を積み重ねてきました。
さらにユビちゃんチームの共同努力により、ライブ配信の中で2人、さらには3人以上のAIキャラクターによるインタラクションを導入する試みにも取り組んでいます。
これは、現在のLLMフレームワークの制約に挑戦しながら、ユビちゃんがペット猫の 小檸檬（リトルレモン） や 小花（シャオホア）、さらにはオンライン視聴者と、同じ部屋の中で自然に共演し、インタラクションできるようにするための取り組みです。
複数キャラクター共演：キャラクター同士が会話し、互いに問いかける
複数キャラクター共演：視聴者もシーンに参加し、複数人でライブ演出を行う
多くの企業がAIアンバサダーを想像するとき、最新の大規模言語モデル、つまりLLMにつなげさえすれば、すべてが自然にうまく進み、多くのファンを惹きつけられると考えがちです。
しかし実際には、その裏側には多くの綿密に設計された演出が必要です。特にシーンが「複数の純粋なAIキャラクターが同じ画面で雑談する」状態へ移ったとき、もし複数のチャットボットに順番に台本を読ませるだけであれば、その場面は非常にぎこちなく、機械的な印象に満ちたものになってしまいます。
なぜ複数キャラクターの会話は「順番に台本を読む」ようになりやすいのか？
一般的な対話システムは、「一つ入力して、一つ出力する」という構造です。しかし、人間同士のグループ会話における基本単位は、完全な一文ではなく「イベント」です。
誰かが訂正したいと思う。誰かが笑いどころを理解する。誰かが先に答えようとする。あるいは、誰かが戸惑う。
もしシステムが、誰か一人が話し終えてから次の話者を選ぶだけであれば、キャラクターは他の人が話している最中にリアルな反応を生み出すことができません。
この問題を解決するため、ユビちゃんチームはライブ配信システム全体を 「リアルタイム即興パフォーマンスシステム」 として捉えています。私たちが追求する自然さは、複数キャラクターに際限なく順番に話させることではありません。キャラクターが状態を持ち、反応し、さらに限定的な重なり、割り込み、集団的な沈黙さえ許容することにあります。
ハイブリッドアーキテクチャ：単一のコアディレクターとイベント駆動
現在のLLMフレームワークには、一回の入力に対して一回の出力を返すという制約があります。その中で複数のAIキャラクターを自然に共演させるために、私たちは4つの独立したLLMを別々に動かす方法は推奨していません。
その代わり、ユビちゃんチームは 「単一のコアディレクター＋複数キャラクター状態＋イベント駆動型インタラクション＋中断可能な音声スケジューリング」 というハイブリッドアーキテクチャを設計しました。
- 単一のコアディレクターAgent：コアモデルは、視聴者コメントの内容を整理・要約した後、単に「次は誰が答えるか」を判断するだけではありません。ユビちゃん、小檸檬（リトルレモン）、小花（シャオホア）といった場にいるすべてのキャラクターについて、その内面的な意図、衝動の強さ、感情を同時にシミュレートします。
- イベント駆動：インタラクションは固定された順番ではなく、意味、時間、または演出動作などの「イベント」によってトリガーされます。キャラクターは話していないときでも、「生きている」状態を保ち、いつでも反応できるように待機しています。
割り込み、先取り回答、そして「意味のある沈黙」
人間らしいインタラクションでは、不完全な小さな反応のほうが、長い説明よりもリアルに感じられることがあります。そのため、私たちはシステムに以下の設計を取り入れました。
- 相互の割り込み：コンテンツとキャラクターの状態によって発生します。重大な誤りが起きた場合や、主話者が長く話しすぎた場合、割り込むキャラクターは節の境界で介入し、300〜800ミリ秒の音声重なりを許容します。
- 低コストな反応：笑い声、相づち、ため息などの短い音声とアニメーションを加えています。これらの反応はルールによって即時にトリガーされ、LLMやTTSによる遅延感を大きく軽減できます。
- ドラマチックな沈黙：寒い冗談や気まずい質問に直面したとき、1.5〜3秒の集団的な沈黙、動作、表情そのものが一つの演出になります。それはプログラムの停止ではありません。
キャラクター共演時には、会話の割り込みも自然な演出になります。
複雑さを滑らかな視聴体験へ変える
こうした意図を現実の体験に変えるためには、音声とアニメーションのタイミング制御が非常に重要です。
各キャラクターは独立した音声チャンネルとして扱われ、ストリーミング出力、即時キャンセル、フェードアウト、そして節単位での再接続に対応しています。
ビジュアル面では、単一のシーンで全キャラクターを管理しています。これにより、キャラクター同士が同じ空間内で相互作用することが、共演感の核となります。
こうした一見舞台裏にある技術的な細部こそ、ユビちゃんチームが少しずつ磨き上げてきた努力の結晶です。単一VTuberによる寄り添いから、複数キャラクターによる滑らかな共演への挑戦へ。これは現在も続く進化です。
確かに、現段階のコアディレクターAgent技術には、まだ多くの未成熟な点があります。大量の短期・中期・長期記憶やRAGを導入すると、反応速度は想像ほど即時的ではない場合もあります。
しかし近い将来、大規模言語モデルが次の段階へ進化したとき、複数AIキャラクターの共演には、また新たな設計方法が生まれ、再び突破口が開かれるかもしれません。
いずれにしても、私たちは「番組感」のあるライブ配信を支えるには、極めて低遅延な計算能力とマルチタスク協調が舞台裏に必要であることを深く理解しています。
それこそが、ユビタスがGPUクラウド基盤を継続的に最適化し、UbiOneプラットフォームを提供する理由でもあります。
技術の複雑さは舞台裏に留め、インタラクションの魂をステージ上で輝かせるために。
ユビタスについて
ユビタスは、NVIDIA から出資を受けた台湾初のテクノロジー企業であり、高度なGPU仮想化技術およびクラウドストリーミング技術において、世界的に高い評価を受けており、さまざまな産業分野に向けて、世界水準のクラウドおよび AI ソリューションを提供しています。
また、台湾大学（National Taiwan University）や東京大学（The University of Tokyo） などのトップ大学と連携し、繁体中国語および日本語に対応したローカライズ大規模言語モデル（LLM）の研究・開発を推進しています。
ユビタスは以下を含む多様なAIGC（AI生成コンテンツ）サービス を展開しています。
- UbiArt：AI画像生成ソリューション
- UbiONE：AIバーチャルキャラクターソリューション
- UbiAnchor：AI搭載バーチャルニュースアンカー
- Ubi-chan（AI VTuber）生成AI技術を体験する公式ブランドアンバサダー
さらに、クラウドゲーム分野のパイオニアとして、ゲームスタジオ向けにクラウド対応を実現するエンドツーエンドのソリューションを提供するとともに、通信事業者による独自クラウドゲーミングサービスの構築を支援しています。同技術は、インタラクティブコンテンツやVRを含むマルチメディア配信にも活用されています。
お問い合わせ先
TEL : +81-3-6435-3295 (東京)
+886-2-2717-6123 (台北)
メディアに関するお問い合わせ : pr@ubitus.ai
事業に関するお問い合わせ : contact@ubitus.ai
Webサイト: www.ubitus.ai
