Neocortex Logo

Fala para texto, LLM e texto para fala em NPCs de IA

Como funciona um NPC de IA com voz: a fala para texto ouve o jogador, um LLM escreve a resposta e o texto para fala a diz em voz alta. STT vs TTS, latência e o que construir.

Sercan AltundasFounder of Neocortex

· 8 min de leitura

Como funciona um NPC de IA com voz: a fala para texto ouve o jogador, um LLM escreve a resposta e o texto para fala a diz em voz alta. STT vs TTS, latência e o que construir.

Um NPC de IA com voz são três modelos em sequência: a fala para texto ouve o jogador, um modelo de linguagem escreve a resposta, e o texto para fala a diz em voz alta. Todos os tutoriais de engine desta série se apoiam nessa cadeia, então este guia explica cada parte, de onde vem o atraso e como a Neocortex executa tudo isso por trás de um único personagem.

As três etapas do pipeline de voz de um NPC de IA

1. Fala para texto (STT): ouvindo o jogador

O jogo grava o microfone e envia o áudio a um modelo de reconhecimento de fala, que devolve texto. Duas escolhas importam aqui:

  • Pressionar para falar ou detecção de voz. Pressionar para falar é um botão que o jogador segura enquanto fala. A detecção de atividade de voz (VAD) escuta o tempo todo e decide quando o jogador começou e parou. Pressionar para falar é mais simples e nunca corta ninguém. A VAD parece mais natural, especialmente em VR, mas exige um limite de silêncio que você ajusta.
  • Vocabulário. Modelos de fala tropeçam em nomes inventados. Se o seu mundo tem uma cidade chamada Varrowmere, o modelo pode ouvir "barrel mere". Dar ao reconhecedor uma lista curta dos seus nomes próprios resolve a maior parte disso.

2. O modelo de linguagem: escrevendo a resposta

A transcrição vai para um modelo de linguagem grande, junto com tudo o que torna o personagem quem ele é: personalidade, o que ele sabe, a conversa até ali e o que está acontecendo no jogo. O modelo escreve a próxima fala.

Para um jogo, texto puro não basta. Você também quer saber como o personagem se sente, para que o rosto e a animação combinem, e se ele decidiu fazer algo, como abrir um portão ou entregar um item. É aqui que a maioria das configurações feitas por conta própria fica confusa, porque você acaba interpretando texto livre atrás de pistas.

3. Texto para fala (TTS): dizendo em voz alta

O texto da resposta vai para um modelo de voz, que devolve áudio. Um TTS bom para personagens precisa de uma voz que combine (um ferreiro rude, um escriturário nervoso), de uma emoção que acompanhe a fala e de suporte aos idiomas que os seus jogadores falam.

STT vs TTS: as duas pontas da mesma conversa

As pessoas costumam pesquisar "STT vs TTS" como se fossem alternativas. Não são: o STT é o ouvido e o TTS é a boca.

Fala para texto (STT)Texto para fala (TTS)
DireçãoVoz do jogador para textoTexto do personagem para voz
EntradaÁudio do microfoneA resposta escrita pelo LLM
O que pode dar erradoNomes entendidos errado, ruído de fundo, frases cortadasEntrega sem emoção, pronúncia errada, primeiro áudio lento
O que ajustarPressionar para falar ou VAD, limite de silêncio, vocabulárioEscolha da voz, emoção, streaming

Um personagem que só digita não precisa de nenhum dos dois. Um personagem com quem o jogador fala, mas que responde por texto, precisa de STT. Um personagem que fala falas roteirizadas precisa de TTS. Uma conversa de voz aberta precisa dos dois, além do modelo no meio.

De onde vem o atraso

Os jogadores percebem uma pausa de mais de cerca de um segundo. A espera total é, mais ou menos:

  1. Esperar ter certeza de que o jogador parou de falar (o limite de silêncio da VAD, ou soltar o botão de pressionar para falar).
  2. Transcrever o áudio.
  3. O modelo escrevendo as primeiras palavras.
  4. O modelo de voz produzindo o primeiro áudio.

Rodar essas etapas uma após a outra, esperando cada uma terminar por completo, é o que gera pausas de três ou quatro segundos. A solução é o streaming: começar a falar a primeira frase enquanto o resto da resposta ainda está sendo escrito. O nosso guia de latência passa por cada etapa com números.

Como a Neocortex executa o pipeline

Com a Neocortex você não conecta três serviços. Você cria um personagem no editor do navegador, com personalidade, base de conhecimento, emoções, ações e voz, e o SDK cuida da cadeia:

  • Fala para texto para a voz do jogador, em mais de 20 idiomas, a partir de um componente de microfone na Unity, na Unreal e na Godot. Um nó de Vocabulary lista os nomes do seu mundo, então "Varrowmere" chega como Varrowmere.
  • A resposta volta marcada com uma emoção como HAPPY, CURIOUS ou ANNOYED, além de quaisquer ações que o personagem tenha escolhido, então o seu jogo nunca interpreta texto livre.
  • Texto para fala com a voz do próprio personagem. Na Unity, na Godot e no Web SDK ele é transmitido em streaming, então o personagem começa a falar antes de a resposta inteira estar pronta.

Se preferir chamar tudo por conta própria, a Web API faz o mesmo por HTTP. Um turno de texto é uma única requisição:

curl -X POST https://api.neocortex.link/v3/chat \
  -H "x-api-key: $NEOCORTEX_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "characterIds": ["CHARACTER_ID"], "message": "Is the north road safe?" }'

A resposta traz um sessionId e um array messages, em que cada mensagem tem lines (cada uma com text e emotion), actions e flowState. Envie o sessionId de volta com a próxima mensagem para continuar a conversa.

Escolhendo o que o seu NPC precisa

Nem todo NPC precisa da cadeia completa:

  • Personagens de segundo plano podem ficar com falas curtas escritas à mão. Nenhuma IA é necessária.
  • Quem dá missões e comerciantes funcionam bem com chat de texto e TTS, então o jogador digita e o personagem fala.
  • Companheiros e personagens de VR se beneficiam mais da voz completa, porque os jogadores já estão falando em voz alta ou estão com as mãos ocupadas.
  • Acessibilidade. A entrada por voz ajuda jogadores que acham difícil digitar, e as respostas faladas ajudam jogadores que acham difícil ler. Ofereça as duas direções como opções, não como requisitos.

Construa na sua engine

Cada guia de engine desta série monta o mesmo pipeline passo a passo:

Todos eles estão reunidos no nosso guia para criar NPCs de IA.

Perguntas frequentes

Qual é a diferença entre STT e TTS?

Eles funcionam em direções opostas. A fala para texto (STT) transforma a voz do jogador em texto que o jogo consegue ler, e o texto para fala (TTS) transforma a resposta escrita do personagem em áudio. Um NPC com voz precisa dos dois, com um modelo de linguagem no meio.

Preciso de um LLM para um NPC que fala?

Só se o NPC deve responder coisas que você não roteirizou. Falas pré-gravadas não precisam de modelo nenhum. Para uma conversa aberta você precisa de STT, de um LLM e de TTS, e a Neocortex executa os três por trás de um único personagem.

Quão rápido um NPC de IA com voz consegue responder?

O atraso é a soma de ouvir o jogador terminar, transcrever, escrever as primeiras palavras e falá-las. Fazer cada etapa alimentar a seguinte em streaming é o que deixa isso perto de um segundo. A Neocortex fala uma resposta enquanto ela ainda está sendo escrita.

Posso usar as minhas próprias vozes em um NPC de IA?

Sim. A Neocortex tem uma biblioteca de vozes prontas, e vozes personalizadas no plano Pro (5) e no plano Team (20). Cada personagem mantém a sua voz na Unity, na Unreal, na Godot e na web.

A conversa de voz com um NPC de IA funciona offline?

Só se os três modelos rodarem no dispositivo do jogador. A Neocortex roda na nuvem por padrão, e os estúdios podem combinar um runtime no dispositivo como um plano Custom.

Artigos semelhantes

Continue lendo