Neocortex Logo

音声認識、LLM、テキスト読み上げ:AI NPCの声の仕組み

声を持つAI NPCの仕組み。音声認識がプレイヤーの声を聞き、LLMが返答を書き、テキスト読み上げがそれを話します。STTとTTSの違い、遅延、作るべきものを解説します。

Sercan AltundasFounder of Neocortex

· 8分で読めます

声を持つAI NPCの仕組み。音声認識がプレイヤーの声を聞き、LLMが返答を書き、テキスト読み上げがそれを話します。STTとTTSの違い、遅延、作るべきものを解説します。

声を持つAI NPCは、3つのモデルが続けて動く仕組みです。音声認識がプレイヤーの声を聞き、言語モデルが返答を書き、テキスト読み上げがそれを声に出して話します。このシリーズのエンジンのチュートリアルはすべて、この連鎖の上に作られているので、この記事では各部分を説明し、遅延がどこから来るのか、そしてNeocortexがこの全体を1体のキャラクターの後ろでどう動かしているかを示します。

AI NPCの音声パイプラインの3つの段階

1. 音声認識(STT):プレイヤーの声を聞く

ゲームはマイクを録音し、その音声を音声認識モデルに送ります。モデルがテキストを返します。ここで重要な選択は2つあります。

  • プッシュトゥトークか音声検出か。 プッシュトゥトークは、プレイヤーが話している間押し続けるボタンです。音声アクティビティ検出(VAD)は常に聞いていて、プレイヤーがいつ話し始め、いつ止めたかを判断します。プッシュトゥトークはより単純で、誰の話も途中で切ることがありません。VADはより自然に感じられますが、特にVRでは、調整が必要な無音のしきい値が必要です。
  • 語彙。 音声モデルは、作られた名前でつまずきます。世界にVarrowmereという町があるなら、モデルは「barrel mere」と聞き取るかもしれません。認識器に固有名詞の短いリストを与えると、ほとんどが解決します。

2. 言語モデル:返答を書く

文字起こしは、キャラクターをそのキャラクターたらしめるすべてと一緒に、大規模言語モデルに送られます。性格、知っていること、これまでの会話、そしてゲームの中で起きていることです。モデルが次のセリフを書きます。

ゲームでは、プレーンテキストだけでは足りません。キャラクターがどう感じているかも知りたいですし、顔とアニメーションが合うように、そして門を開ける、アイテムを渡すといったことを決めたかどうかも知りたいからです。自作の多くの構成がごちゃごちゃになるのはここで、自由なテキストから手がかりを解析するはめになるからです。

3. テキスト読み上げ(TTS):声に出して話す

返答のテキストは音声モデルに送られ、音声が返されます。キャラクターのための良いTTSには、合った声(無愛想な鍛冶屋、神経質な事務員)、セリフに沿った感情、そしてプレイヤーが話す言語への対応が必要です。

STTとTTS:同じ会話の両端

人々は「STT vs TTS」を、まるで代替手段であるかのように検索することがよくあります。しかし、そうではありません。STTは耳で、TTSは口です。

音声認識(STT)テキスト読み上げ(TTS)
方向プレイヤーの声をテキストにキャラクターのテキストを声に
入力マイクの音声LLMが書いた返答
問題が起きうる点名前の聞き間違い、背景の雑音、途切れた文平板な話し方、発音の誤り、最初の音声が遅い
調整するものプッシュトゥトークかVAD、無音のしきい値、語彙声の選択、感情、ストリーミング

テキストだけを打つキャラクターには、どちらも不要です。プレイヤーが話しかけるけれど、テキストで答えるキャラクターにはSTTが必要です。台本どおりのセリフを話すキャラクターにはTTSが必要です。自由な音声の会話には、両方と、その間にあるモデルが必要です。

遅延はどこから来るか

プレイヤーは、約1秒を超える間に気づきます。待ち時間の合計はおおよそ次のとおりです。

  1. プレイヤーが話し終えたと確信できるまで待つ(VADの無音のしきい値、またはプッシュトゥトークを離すタイミング)。
  2. 音声を文字起こしする。
  3. モデルが最初の言葉を書く。
  4. 音声モデルが最初の音声を作る。

これらを順に、それぞれが完全に終わるのを待ちながら実行すると、3〜4秒の間が生まれます。解決策はストリーミングです。返答の残りがまだ書かれている間に、最初の文を話し始めます。数字を使って各段階を見ていくのは、レイテンシーのガイドです。

Neocortexがパイプラインを動かす仕組み

Neocortexでは、3つのサービスを自分でつなぐ必要はありません。性格、知識ベース、感情、アクション、声を備えたキャラクターを、ブラウザのエディターで作れば、SDKがその連鎖を扱います。

  • プレイヤーの声の音声認識は、20言語以上で、Unity、Unreal、Godotの1つのマイクのコンポーネントから行えます。Vocabularyノードにはあなたの世界の名前を挙げられるので、「Varrowmere」はそのまま Varrowmere として届きます。
  • 返答は、HAPPY、CURIOUS、ANNOYED などの感情のタグ付きで戻ります。キャラクターが選んだアクションも付いてくるので、ゲームが自由なテキストを解析する必要はありません。
  • キャラクター自身の声によるテキスト読み上げ。 UnityとGodot、そしてWeb SDKではストリーミングされるので、返答全体が準備される前に、キャラクターは話し始めます。

自分で呼び出したい場合は、Web APIが同じことをHTTP経由で行います。テキストのターンは1回のリクエストです。

curl -X POST https://api.neocortex.link/v3/chat \
  -H "x-api-key: $NEOCORTEX_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "characterIds": ["CHARACTER_ID"], "message": "Is the north road safe?" }'

返答には sessionId と messages の配列が入り、各メッセージには lines(それぞれ text と emotion を持つ)、actions、flowState があります。会話を続けるには、次のメッセージと一緒に sessionId を送り返してください。

NPCに必要なものを選ぶ

すべてのNPCに、この連鎖全体が必要なわけではありません。

  • 背景のキャラクターは、作成済みのつぶやきのままで構いません。AIは不要です。
  • クエストの依頼人や店主は、テキストチャットとTTSの組み合わせでうまく機能します。プレイヤーはタイプし、キャラクターは話します。
  • 仲間やVRのキャラクターは、完全な音声から最も恩恵を受けます。プレイヤーはすでに声に出して話しているか、手がふさがっているからです。
  • アクセシビリティ。 音声入力は、タイプが難しいプレイヤーを助け、話される返答は、読むのが難しいプレイヤーを助けます。両方向を要件ではなく、選択肢として提供してください。

自分のエンジンで作る

このシリーズの各エンジンのガイドは、同じパイプラインを段階を追って設定します。

これらはすべて、AI NPCを作るためのガイドにまとめています。

よくある質問

STTとTTSの違いは何ですか?

両者は反対方向に動きます。音声認識(STT)は、プレイヤーの声をゲームが読めるテキストに変え、テキスト読み上げ(TTS)は、キャラクターの書かれた返答を音声に変えます。声を持つNPCには両方が必要で、その間に言語モデルがあります。

話すNPCにはLLMが必要ですか?

NPCが、あなたがスクリプトに書いていないことに答えるべき場合に限ります。録音済みのセリフには、モデルはまったく不要です。自由な会話には、STT、LLM、TTSが必要で、Neocortexは1体のキャラクターの後ろで3つすべてを動かします。

声を持つAI NPCはどのくらい速く答えられますか?

遅延は、プレイヤーが話し終えたことを聞き取り、文字起こしし、最初の言葉を書き、それを話すまでの合計です。各段階を次の段階へストリーミングすることで、約1秒に近づけられます。Neocortexは、返答がまだ書かれている間に、その返答を話します。

AI NPCに自分の声を使えますか?

はい。Neocortexには既成の声のライブラリがあり、カスタムの声は、Proプランで5つ、Teamプランで20まで使えます。各キャラクターは、Unity、Unreal、Godot、ウェブで自分の声を保ちます。

AI NPCとのボイスチャットはオフラインで動きますか?

3つのモデルすべてがプレイヤーのデバイス上で動く場合に限ります。Neocortexは既定ではクラウドで動きます。スタジオは、カスタムプランとしてデバイス上の実行環境を手配できます。

関連記事

こちらもおすすめ