Neocortex Logo

Cómo añadir chat de voz a PNJ de IA en Unity

Añade chat de voz a PNJ de IA en Unity: entrada del micrófono con detección de voz o pulsar para hablar, respuestas habladas, lip sync y configuración para WebGL, Android e iOS.

Sercan AltundasFounder of Neocortex

· 9 min de lectura

Añade chat de voz a PNJ de IA en Unity: entrada del micrófono con detección de voz o pulsar para hablar, respuestas habladas, lip sync y configuración para WebGL, Android e iOS.

Escribirle a un personaje está bien. Hablarle y oír una respuesta con su propia voz es otra cosa. Esta guía añade un chat de voz completo a un PNJ de IA en Unity con el SDK de Neocortex: el micrófono del jugador como entrada, una respuesta hablada como salida, además de lip sync y los detalles de cada plataforma que suelen costar una semana encontrar.

Cómo funciona el chat de voz en el SDK

Un turno de voz pasa por tres etapas: la voz a texto escucha al jugador, el personaje escribe una respuesta, y el texto a voz la pronuncia. Nuestra guía del pipeline de voz para PNJ de IA explica cada una. En Unity no tienes que conectarlas tú: el SDK gestiona toda la cadena con tres componentes en un mismo GameObject.

ComponenteFunción
Neocortex Smart AgentEl personaje: envía la grabación y recibe la respuesta
Neocortex Audio ReceiverEl micrófono, en escritorio, Android, iOS y WebGL
Audio SourceDonde suena la voz del personaje

Si aún no has configurado el SDK, empieza por cómo añadir un personaje de IA a tu juego de Unity.

Paso 1: el PNJ de voz sin código

Añade los tres componentes al GameObject de tu personaje y elige el personaje en el desplegable del Smart Agent. Con Auto Voice Input activado (el valor por defecto), el agente encuentra el receptor, envía cada grabación como mensaje de voz y vuelve a abrir el micrófono después de cada respuesta. Pulsa Play y habla.

La ruta más rápida es clic derecho en la Hierarchy > Neocortex > Complete Voice Chat, que crea el mismo montaje con un panel de chat y un botón de micrófono.

Paso 2: elegir detección de voz o pulsar para hablar

El Audio Receiver escucha con detección de voz por defecto. Tres ajustes lo configuran:

  • Amplitude Threshold (por defecto 0.1): lo fuerte que debe hablar el jugador para contar como habla. Súbelo en salas ruidosas.
  • Max Wait Time (por defecto 1 segundo): cuánto silencio termina una frase. Más corto se siente más rápido, pero corta a los hablantes lentos.
  • Lead In (por defecto 0.3 segundos): audio que se conserva justo antes de que el jugador empiece, para que no se recorten las primeras sílabas.

Para pulsar para hablar, cambia el receptor y empieza y detén la grabación desde tu propia entrada. Esto usa el Input System de Unity:

using UnityEngine;
using UnityEngine.InputSystem;
using Neocortex;

public class PushToTalk : MonoBehaviour
{
    [SerializeField] private NeocortexAudioReceiver microphone;

    private void Start() => microphone.SetPushToTalk(true);

    private void Update()
    {
        var keyboard = Keyboard.current;
        if (keyboard == null) return;
        if (keyboard.vKey.wasPressedThisFrame) microphone.StartMicrophone();
        if (keyboard.vKey.wasReleasedThisFrame) microphone.StopMicrophone();
    }
}

Al soltar V termina la grabación, y el agente la envía de inmediato. Para un botón en pantalla, el Neocortex Push To Talk Button del SDK hace lo mismo al pulsar y soltar, y el Neocortex Microphone Dropdown permite al jugador elegir su dispositivo.

Paso 3: dar forma a la respuesta hablada

El Chat Lines Mode del Smart Agent decide cómo se pronuncia la respuesta:

  • PerLineAudio pronuncia cada línea en cuanto empieza, así que una respuesta larga empieza a sonar deprisa.
  • SingleAudio pronuncia toda la respuesta como un solo clip.
  • Off te entrega el clip a través de OnAudioResponseReceived y no reproduce nada, para tu propio sistema de audio.

La voz se transmite desde nuestros servidores y empieza a sonar tras una fracción de segundo de búfer, así que el personaje empieza a hablar antes de que exista el clip completo. La voz sigue la emoción de cada línea, así que una línea alarmada suena alarmada.

Dos eventos ayudan con la presentación: OnTranscriptionReceived te da lo que dijo el jugador, para subtítulos o una línea de "dijiste", y OnChatLineStarted te da cada línea de la respuesta en cuanto empieza.

Paso 4: añadir lip sync

Añade Neocortex Face Animator (Add Component > Neocortex) al personaje. Encuentra el agente y la fuente de audio, y mueve la boca a partir del texto hablado usando blend shapes con nombres de ARKit, como JawOpen y MouthFunnel. Los avatares de Ready Player Me los tienen de serie. Asignar emociones a expresiones faciales depende de ti; nuestra guía sobre PNJ de IA emocionales incluye una tabla práctica.

Notas por plataforma

  • Android e iOS: el receptor pide por sí mismo el permiso de micrófono la primera vez que se usa. Su evento On Permission Denied te permite mostrar un mensaje o pasar al texto.
  • WebGL: el micrófono de Unity no existe en los navegadores. Selecciona la plantilla WebGL Neocortex en Player Settings > Resolution and Presentation (el SDK la importa a tu proyecto, y Tools > Neocortex > Import WebGL Template la restaura). Aloja la versión por HTTPS, porque los navegadores solo permiten el micrófono en páginas seguras. Si no se selecciona la plantilla, la consola avisa de que la entrada de micrófono no funcionará.
  • Escritorio: los jugadores pueden necesitar permitir el acceso al micrófono en los ajustes de privacidad de su sistema operativo la primera vez.

Problemas comunes

  • El PNJ responde a su propia voz. Con altavoces, el micrófono puede captar la respuesta. La detección de voz se reabre cuando termina la respuesta, pero pulsar para hablar o los auriculares lo evitan por completo.
  • Cortan al jugador a mitad de frase. Sube un poco Max Wait Time, o cambia a pulsar para hablar.
  • Los chasquidos breves activan respuestas. Los sonidos de menos de 0,15 segundos ya se ignoran. Sube Amplitude Threshold si el ruido de fondo sigue pasando.
  • No pasa nada en una versión web. Revisa primero la plantilla WebGL y el HTTPS.

Próximos pasos

La voz es donde más se nota la latencia, así que lee cómo conseguir respuestas de voz de PNJ de IA en menos de un segundo. Para dar voz a tus líneas con guion con la misma voz, consulta texto a voz para diálogos de PNJ en Unity, y para las gafas consulta personajes de IA en un juego para Meta Quest. Todos los tutoriales están en la guía para crear PNJ de IA.

Preguntas frecuentes

¿Cómo añado un chat de voz con un PNJ de IA en Unity?

Pon un Neocortex Smart Agent, un Audio Source y un Neocortex Audio Receiver en un mismo GameObject. El receptor graba al jugador, el agente lo transcribe y responde con la voz del personaje. Funciona sin código, y pulsar para hablar es un solo ajuste.

¿Funciona el reconocimiento de voz de Unity en WebGL?

La clase Microphone de Unity no funciona en los navegadores. El SDK de Neocortex lleva el micrófono del navegador a Unity a través de su plantilla WebGL, así que los PNJ de voz funcionan en versiones web servidas por HTTPS.

¿Pulsar para hablar o detección de voz para el chat de voz con PNJ?

Pulsar para hablar nunca corta al jugador y encaja con juegos de PC y mando. La detección de voz es manos libres, lo que encaja con la VR. El Neocortex Audio Receiver hace las dos cosas: detección de voz por defecto, y pulsar para hablar con un solo interruptor.

¿Puede un PNJ de IA de Unity hacer lip sync?

Sí. Añade el Neocortex Face Animator al personaje. Mueve la boca a partir del texto hablado sobre blend shapes con nombres de ARKit, que tienen los avatares de Ready Player Me.

¿Funcionan los PNJ de voz en Android e iOS?

Sí. El Neocortex Audio Receiver pide por sí mismo el permiso de micrófono en Android e iOS, y el mismo componente funciona en escritorio y WebGL.

Artículos similares

Sigue leyendo