Fala para texto, LLM e texto para fala em NPCs de IA
Como funciona um NPC de IA com voz: a fala para texto ouve o jogador, um LLM escreve a resposta e o texto para fala a diz em voz alta. STT vs TTS, latência e o que construir.
Sercan AltundasFounder of Neocortex
· 8 min de leitura

Um NPC de IA com voz são três modelos em sequência: a fala para texto ouve o jogador, um modelo de linguagem escreve a resposta, e o texto para fala a diz em voz alta. Todos os tutoriais de engine desta série se apoiam nessa cadeia, então este guia explica cada parte, de onde vem o atraso e como a Neocortex executa tudo isso por trás de um único personagem.
As três etapas do pipeline de voz de um NPC de IA
1. Fala para texto (STT): ouvindo o jogador
O jogo grava o microfone e envia o áudio a um modelo de reconhecimento de fala, que devolve texto. Duas escolhas importam aqui:
- Pressionar para falar ou detecção de voz. Pressionar para falar é um botão que o jogador segura enquanto fala. A detecção de atividade de voz (VAD) escuta o tempo todo e decide quando o jogador começou e parou. Pressionar para falar é mais simples e nunca corta ninguém. A VAD parece mais natural, especialmente em VR, mas exige um limite de silêncio que você ajusta.
- Vocabulário. Modelos de fala tropeçam em nomes inventados. Se o seu mundo tem uma cidade chamada Varrowmere, o modelo pode ouvir "barrel mere". Dar ao reconhecedor uma lista curta dos seus nomes próprios resolve a maior parte disso.
2. O modelo de linguagem: escrevendo a resposta
A transcrição vai para um modelo de linguagem grande, junto com tudo o que torna o personagem quem ele é: personalidade, o que ele sabe, a conversa até ali e o que está acontecendo no jogo. O modelo escreve a próxima fala.
Para um jogo, texto puro não basta. Você também quer saber como o personagem se sente, para que o rosto e a animação combinem, e se ele decidiu fazer algo, como abrir um portão ou entregar um item. É aqui que a maioria das configurações feitas por conta própria fica confusa, porque você acaba interpretando texto livre atrás de pistas.
3. Texto para fala (TTS): dizendo em voz alta
O texto da resposta vai para um modelo de voz, que devolve áudio. Um TTS bom para personagens precisa de uma voz que combine (um ferreiro rude, um escriturário nervoso), de uma emoção que acompanhe a fala e de suporte aos idiomas que os seus jogadores falam.
STT vs TTS: as duas pontas da mesma conversa
As pessoas costumam pesquisar "STT vs TTS" como se fossem alternativas. Não são: o STT é o ouvido e o TTS é a boca.
| Fala para texto (STT) | Texto para fala (TTS) | |
|---|---|---|
| Direção | Voz do jogador para texto | Texto do personagem para voz |
| Entrada | Áudio do microfone | A resposta escrita pelo LLM |
| O que pode dar errado | Nomes entendidos errado, ruído de fundo, frases cortadas | Entrega sem emoção, pronúncia errada, primeiro áudio lento |
| O que ajustar | Pressionar para falar ou VAD, limite de silêncio, vocabulário | Escolha da voz, emoção, streaming |
Um personagem que só digita não precisa de nenhum dos dois. Um personagem com quem o jogador fala, mas que responde por texto, precisa de STT. Um personagem que fala falas roteirizadas precisa de TTS. Uma conversa de voz aberta precisa dos dois, além do modelo no meio.
De onde vem o atraso
Os jogadores percebem uma pausa de mais de cerca de um segundo. A espera total é, mais ou menos:
- Esperar ter certeza de que o jogador parou de falar (o limite de silêncio da VAD, ou soltar o botão de pressionar para falar).
- Transcrever o áudio.
- O modelo escrevendo as primeiras palavras.
- O modelo de voz produzindo o primeiro áudio.
Rodar essas etapas uma após a outra, esperando cada uma terminar por completo, é o que gera pausas de três ou quatro segundos. A solução é o streaming: começar a falar a primeira frase enquanto o resto da resposta ainda está sendo escrito. O nosso guia de latência passa por cada etapa com números.
Como a Neocortex executa o pipeline
Com a Neocortex você não conecta três serviços. Você cria um personagem no editor do navegador, com personalidade, base de conhecimento, emoções, ações e voz, e o SDK cuida da cadeia:
- Fala para texto para a voz do jogador, em mais de 20 idiomas, a partir de um componente de microfone na Unity, na Unreal e na Godot. Um nó de Vocabulary lista os nomes do seu mundo, então "Varrowmere" chega como Varrowmere.
- A resposta volta marcada com uma emoção como
HAPPY,CURIOUSouANNOYED, além de quaisquer ações que o personagem tenha escolhido, então o seu jogo nunca interpreta texto livre. - Texto para fala com a voz do próprio personagem. Na Unity, na Godot e no Web SDK ele é transmitido em streaming, então o personagem começa a falar antes de a resposta inteira estar pronta.
Se preferir chamar tudo por conta própria, a Web API faz o mesmo por HTTP. Um turno de texto é uma única requisição:
curl -X POST https://api.neocortex.link/v3/chat \
-H "x-api-key: $NEOCORTEX_API_KEY" \
-H "Content-Type: application/json" \
-d '{ "characterIds": ["CHARACTER_ID"], "message": "Is the north road safe?" }'A resposta traz um sessionId e um array messages, em que cada mensagem tem lines (cada uma com text e emotion), actions e flowState. Envie o sessionId de volta com a próxima mensagem para continuar a conversa.
Escolhendo o que o seu NPC precisa
Nem todo NPC precisa da cadeia completa:
- Personagens de segundo plano podem ficar com falas curtas escritas à mão. Nenhuma IA é necessária.
- Quem dá missões e comerciantes funcionam bem com chat de texto e TTS, então o jogador digita e o personagem fala.
- Companheiros e personagens de VR se beneficiam mais da voz completa, porque os jogadores já estão falando em voz alta ou estão com as mãos ocupadas.
- Acessibilidade. A entrada por voz ajuda jogadores que acham difícil digitar, e as respostas faladas ajudam jogadores que acham difícil ler. Ofereça as duas direções como opções, não como requisitos.
Construa na sua engine
Cada guia de engine desta série monta o mesmo pipeline passo a passo:
- Como adicionar um personagem de IA ao seu jogo na Unity, e depois chat de voz para NPCs de IA na Unity
- Como adicionar NPCs de IA na Unreal Engine 5
- Como adicionar diálogo de NPC de IA na Godot 4
Todos eles estão reunidos no nosso guia para criar NPCs de IA.
Perguntas frequentes
Qual é a diferença entre STT e TTS?
Eles funcionam em direções opostas. A fala para texto (STT) transforma a voz do jogador em texto que o jogo consegue ler, e o texto para fala (TTS) transforma a resposta escrita do personagem em áudio. Um NPC com voz precisa dos dois, com um modelo de linguagem no meio.
Preciso de um LLM para um NPC que fala?
Só se o NPC deve responder coisas que você não roteirizou. Falas pré-gravadas não precisam de modelo nenhum. Para uma conversa aberta você precisa de STT, de um LLM e de TTS, e a Neocortex executa os três por trás de um único personagem.
Quão rápido um NPC de IA com voz consegue responder?
O atraso é a soma de ouvir o jogador terminar, transcrever, escrever as primeiras palavras e falá-las. Fazer cada etapa alimentar a seguinte em streaming é o que deixa isso perto de um segundo. A Neocortex fala uma resposta enquanto ela ainda está sendo escrita.
Posso usar as minhas próprias vozes em um NPC de IA?
Sim. A Neocortex tem uma biblioteca de vozes prontas, e vozes personalizadas no plano Pro (5) e no plano Team (20). Cada personagem mantém a sua voz na Unity, na Unreal, na Godot e na web.
A conversa de voz com um NPC de IA funciona offline?
Só se os três modelos rodarem no dispositivo do jogador. A Neocortex roda na nuvem por padrão, e os estúdios podem combinar um runtime no dispositivo como um plano Custom.






