Como adicionar chat de voz a NPCs de IA na Unity
Adicione chat de voz a NPCs de IA na Unity: entrada de microfone com detecção de voz ou push-to-talk, respostas faladas, lip sync e configuração para WebGL, Android e iOS.
Sercan AltundasFounder of Neocortex
· 9 min de leitura

Digitar para um personagem é bom. Falar com ele e ouvir uma resposta na própria voz dele é outro jogo. Este guia adiciona chat de voz completo a um NPC de IA na Unity com o SDK da Neocortex: o microfone do jogador na entrada, uma resposta falada na saída, mais lip sync e os detalhes de cada plataforma que costumam levar uma semana para serem descobertos.
Como o chat de voz funciona no SDK
Um turno de voz passa por três etapas: o reconhecimento de fala ouve o jogador, o personagem escreve uma resposta, e o text-to-speech a diz em voz alta. Nosso guia do pipeline de voz de NPCs de IA explica cada uma. Na Unity você não as conecta manualmente: o SDK cuida de toda a cadeia a partir de três componentes em um mesmo GameObject.
| Componente | Função |
|---|---|
| Neocortex Smart Agent | O personagem: envia a gravação, recebe a resposta |
| Neocortex Audio Receiver | O microfone, no desktop, Android, iOS e WebGL |
| Audio Source | Onde a voz do personagem toca |
Se você ainda não configurou o SDK, comece por como adicionar um personagem de IA ao seu jogo na Unity.
Passo 1: o NPC de voz sem código
Adicione os três componentes ao GameObject do seu personagem e escolha o personagem no menu suspenso do Smart Agent. Com Auto Voice Input ativado (o padrão), o agente encontra o receptor, envia cada gravação como mensagem de voz e reabre o microfone depois de cada resposta. Aperte Play e fale.
O caminho mais rápido é clicar com o botão direito na Hierarchy > Neocortex > Complete Voice Chat, que monta o mesmo conjunto com um painel de chat e um botão de microfone.
Passo 2: escolha entre detecção de voz e push-to-talk
O Audio Receiver escuta com detecção de voz por padrão. Três configurações o moldam:
- Amplitude Threshold (padrão 0.1): o quão alto o jogador precisa falar para contar como fala. Aumente em ambientes barulhentos.
- Max Wait Time (padrão 1 segundo): quanto silêncio encerra uma frase. Mais curto parece mais rápido, mas corta quem fala devagar.
- Lead In (padrão 0.3 segundo): áudio guardado logo antes de o jogador começar, para que as primeiras sílabas não sejam cortadas.
Para push-to-talk, troque o receptor e inicie e pare a gravação pelo seu próprio input. Isso usa o Input System da Unity:
using UnityEngine;
using UnityEngine.InputSystem;
using Neocortex;
public class PushToTalk : MonoBehaviour
{
[SerializeField] private NeocortexAudioReceiver microphone;
private void Start() => microphone.SetPushToTalk(true);
private void Update()
{
var keyboard = Keyboard.current;
if (keyboard == null) return;
if (keyboard.vKey.wasPressedThisFrame) microphone.StartMicrophone();
if (keyboard.vKey.wasReleasedThisFrame) microphone.StopMicrophone();
}
}Soltar V encerra a gravação, e o agente a envia imediatamente. Para um botão na tela, o Neocortex Push To Talk Button do SDK faz o mesmo ao pressionar e soltar, e o Neocortex Microphone Dropdown permite que os jogadores escolham o dispositivo.
Passo 3: molde a resposta falada
O Chat Lines Mode do Smart Agent decide como a resposta é falada:
- PerLineAudio fala cada linha assim que ela começa, então uma resposta longa começa a ser dita rapidamente.
- SingleAudio fala a resposta inteira como um único clipe.
- Off entrega o clipe por
OnAudioResponseReceivede não toca nada, para o seu próprio sistema de áudio.
A fala é transmitida dos nossos servidores e começa a tocar depois de uma fração de segundo de buffer, então o personagem começa a falar antes de o clipe inteiro existir. A voz segue a emoção de cada linha, então uma linha alarmada soa alarmada.
Dois eventos ajudam na apresentação: OnTranscriptionReceived entrega o que o jogador disse, para legendas ou uma linha do tipo "você disse", e OnChatLineStarted entrega cada linha da resposta assim que ela começa.
Passo 4: adicione lip sync
Adicione o Neocortex Face Animator (Add Component > Neocortex) ao personagem. Ele encontra o agente e o audio source, e move a boca a partir do texto falado, usando blend shapes com nomes do ARKit, como JawOpen e MouthFunnel. Avatares do Ready Player Me já trazem esses blend shapes prontos. Mapear emoções para expressões faciais é com você; nosso guia sobre NPCs de IA emocionais tem uma tabela prática.
Notas por plataforma
- Android e iOS: o receptor pede permissão de microfone por conta própria no primeiro uso. O evento On Permission Denied permite mostrar uma mensagem ou voltar para o texto.
- WebGL: o microfone da Unity não existe nos navegadores. Selecione o template Neocortex de WebGL em Player Settings > Resolution and Presentation (o SDK o importa para o seu projeto, e Tools > Neocortex > Import WebGL Template o restaura). Hospede o build em HTTPS, já que os navegadores só permitem o microfone em páginas seguras. Se o template não estiver selecionado, o console avisa que a entrada de microfone não vai funcionar.
- Desktop: os jogadores podem precisar permitir o acesso ao microfone nas configurações de privacidade do sistema operacional na primeira vez.
Problemas comuns
- O NPC responde à própria voz. Em alto-falantes, o microfone pode captar a resposta. A detecção de voz reabre depois que a resposta termina, mas o push-to-talk ou fones de ouvido evitam o problema por completo.
- Jogadores são cortados no meio da frase. Aumente um pouco o Max Wait Time, ou troque para push-to-talk.
- Cliques curtos disparam respostas. Sons com menos de 0.15 segundo já são ignorados. Aumente o Amplitude Threshold se o ruído de fundo ainda passar.
- Nada acontece em um build web. Verifique primeiro o template WebGL e o HTTPS.
Próximos passos
A voz é onde a latência aparece mais, então leia como obter respostas de voz de NPCs de IA em menos de um segundo. Para dublar suas falas roteirizadas com a mesma voz, veja text-to-speech para diálogo de NPC na Unity, e para headsets veja personagens de IA em um jogo para Meta Quest. Todos os tutoriais estão no guia para criar NPCs de IA.
Perguntas frequentes
Como adiciono chat de voz com um NPC de IA na Unity?
Coloque um Neocortex Smart Agent, um Audio Source e um Neocortex Audio Receiver em um mesmo GameObject. O receptor grava o jogador, o agente transcreve a fala e responde com a voz do personagem. Funciona sem código, e o push-to-talk é uma única configuração.
O reconhecimento de voz da Unity funciona no WebGL?
A classe Microphone da Unity não funciona nos navegadores. O SDK da Neocortex traz o microfone do navegador para a Unity pelo seu template WebGL, então NPCs de voz funcionam em builds web servidos por HTTPS.
Push-to-talk ou detecção de voz para o chat de voz de NPCs?
O push-to-talk nunca corta o jogador e combina com jogos de PC e controle. A detecção de voz é mãos livres, o que combina com VR. O Neocortex Audio Receiver faz os dois: detecção de voz por padrão, e push-to-talk com uma chave.
Um NPC de IA na Unity pode fazer lip sync?
Sim. Adicione o Neocortex Face Animator ao personagem. Ele move a boca a partir do texto falado, em blend shapes com nomes do ARKit, que os avatares do Ready Player Me já possuem.
NPCs de voz funcionam no Android e no iOS?
Sim. O Neocortex Audio Receiver pede permissão de microfone no Android e no iOS por conta própria, e o mesmo componente funciona no desktop e no WebGL.






