音声対話
話しかけると声で返事
Neocortex の音声対話は、キャラクターに声を与え、プレイヤーが声で話しかけられるようにします。テキスト読み上げはどんなセリフもキャラクター自身の声で話し、音声認識はプレイヤーが録音した声をテキストに変換します。ストリーミング音声なら、セリフの残りを生成している間に再生が始まります。キャラクターの Language ノードが話す言語と聞き取る言語の両方を決めるので、スペイン語に設定したキャラクターは、スペイン語で話し、スペイン語を聞き取ります。
音声対話の機能
音声があれば、声を持つキャラクターとのやり取りが完結します。プレイヤーが話し、キャラクターが答え、その答えがキャラクター自身の声で聞こえます。
3 つの主な機能とメリット
キャラクターが話すセリフにはそれぞれ感情を乗せられ、話し方もそれに合わせて変わります。同じ声でも、場面に応じて温かく、あるいは張りつめた響きになります。音声認識は 20 以上の言語に対応しています。そのほかのメリットは次のとおりです。
ストリーミング音声は生成されたそばから音声を少しずつ送るため、セリフ全体を待つ場合の半分よりずっと短い時間で再生を始められます。
キャラクターはベーシックボイス、クローンボイス、デザインボイスのいずれでも話せます。AI が書いた返答にも、あなたが用意したスクリプトのセリフにも同じ声を使えるので、ちょっとした掛け声も会話も、同じ人物の声に聞こえます。
Vocabulary ノードに世界の固有名詞や用語を登録しておけば、音声認識は「Varrowmere」を当て推量せず、正しく Varrowmere と書き起こします。
音声は Web API で利用でき、Unity、Unreal、Godot の SDK がマイクと再生を代わりに処理します。プッシュトゥトークと音声検出に対応しています。