Neocortex Logo

Voz de NPC con IA: voz a texto, LLM y texto a voz

Cómo funciona un NPC de IA con voz: la voz a texto escucha al jugador, un LLM escribe la respuesta y el texto a voz la dice. STT frente a TTS, latencia y qué construir.

Sercan AltundasFounder of Neocortex

· 8 min de lectura

Cómo funciona un NPC de IA con voz: la voz a texto escucha al jugador, un LLM escribe la respuesta y el texto a voz la dice. STT frente a TTS, latencia y qué construir.

Un NPC de IA con voz es una cadena de tres modelos: la voz a texto (STT) escucha al jugador, un modelo de lenguaje escribe la respuesta, y el texto a voz (TTS) la dice en voz alta. Cada tutorial de motor de esta serie se apoya en esa cadena, así que esta guía explica cada parte, de dónde viene el retraso y cómo Neocortex ejecuta todo detrás de un solo personaje.

Las tres etapas de una canalización de voz para NPC de IA

1. Voz a texto (STT): escuchar al jugador

El juego graba el micrófono y envía el audio a un modelo de reconocimiento de voz, que devuelve texto. Dos decisiones importan aquí:

  • Pulsar para hablar o detección de voz. Pulsar para hablar es un botón que el jugador mantiene mientras habla. La detección de actividad de voz (VAD) escucha todo el tiempo y decide cuándo empezó y terminó el jugador. Pulsar para hablar es más sencillo y nunca corta a nadie. VAD resulta más natural, sobre todo en VR, pero necesita un umbral de silencio que ajustar.
  • Vocabulario. Los modelos de voz tropiezan con nombres inventados. Si tu mundo tiene un pueblo llamado Varrowmere, el modelo puede oír "barrel mere". Darle al reconocedor una lista corta de tus nombres propios soluciona la mayor parte.

2. El modelo de lenguaje: escribir la respuesta

La transcripción va a un modelo de lenguaje grande junto con todo lo que hace al personaje ser quien es: su personalidad, lo que sabe, la conversación hasta ahora y lo que pasa en el juego. El modelo escribe la siguiente línea.

Para un juego, el texto plano no basta. También quieres saber cómo se siente el personaje, para que el rostro y la animación coincidan, y si ha decidido hacer algo, como abrir una puerta o entregar un objeto. Aquí es donde la mayoría de las configuraciones caseras se complican, porque acabas analizando texto libre para buscar pistas.

3. Texto a voz (TTS): decirlo en voz alta

El texto de la respuesta va a un modelo de voz, que devuelve audio. El buen TTS para personajes necesita una voz que encaje (un herrero brusco, un empleado nervioso), una emoción que siga la línea y soporte para los idiomas que hablan tus jugadores.

STT frente a TTS: dos extremos de la misma conversación

La gente busca "STT vs TTS" como si fueran alternativas. No lo son: STT es el oído y TTS es la boca.

Voz a texto (STT)Texto a voz (TTS)
DirecciónVoz del jugador a textoTexto del personaje a voz
EntradaAudio del micrófonoLa respuesta que escribió el LLM
Qué puede salir malNombres mal oídos, ruido de fondo, frases cortadasEntrega plana, pronunciación incorrecta, primer audio lento
Qué ajustarPulsar para hablar o VAD, umbral de silencio, vocabularioElección de voz, emoción, streaming

Un personaje que solo escribe no necesita ninguno de los dos. Un personaje al que los jugadores hablan, pero que responde por escrito, necesita STT. Un personaje que dice líneas guionizadas necesita TTS. La conversación de voz abierta necesita ambos, más el modelo en medio.

De dónde viene el retraso

Los jugadores notan una pausa de más de un segundo aproximadamente. La espera total es, más o menos:

  1. Esperar a estar seguro de que el jugador ha dejado de hablar (el umbral de silencio de VAD, o soltar el botón de pulsar para hablar).
  2. Transcribir el audio.
  3. El modelo escribiendo sus primeras palabras.
  4. El modelo de voz produciendo su primer audio.

Ejecutar estas etapas una tras otra, esperando a que cada una termine por completo, es lo que produce pausas de tres o cuatro segundos. La solución es el streaming: empezar a hablar la primera frase mientras el resto de la respuesta todavía se está escribiendo. Nuestra guía de latencia recorre cada etapa con cifras.

Cómo ejecuta Neocortex la canalización

Con Neocortex no conectas tres servicios entre sí. Construyes un personaje en el editor del navegador con su personalidad, base de conocimiento, emociones, acciones y voz, y el SDK gestiona la cadena:

  • Voz a texto para la voz del jugador, en más de 20 idiomas, desde un único componente de micrófono en Unity, Unreal y Godot. Un nodo de Vocabulary enumera los nombres de tu mundo, así que "Varrowmere" llega como Varrowmere.
  • La respuesta llega etiquetada con una emoción como HAPPY, CURIOUS o ANNOYED, además de las acciones que el personaje haya elegido, así que tu juego nunca analiza texto libre.
  • Texto a voz con la voz propia del personaje. En Unity, Godot y el SDK web se transmite en streaming, así que el personaje empieza a hablar antes de que la respuesta esté completa.

Si prefieres llamarlo tú mismo, la Web API hace lo mismo por HTTP. Un turno de texto es una petición:

curl -X POST https://api.neocortex.link/v3/chat \
  -H "x-api-key: $NEOCORTEX_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "characterIds": ["CHARACTER_ID"], "message": "Is the north road safe?" }'

La respuesta contiene un sessionId y un array messages, donde cada mensaje tiene lines (cada una con text y emotion), actions y flowState. Envía el sessionId de vuelta con el siguiente mensaje para continuar la conversación.

Elegir lo que necesita tu NPC

No todos los NPC necesitan la cadena completa:

  • Los personajes de fondo pueden quedarse con barks escritos. No hace falta IA.
  • Los dadores de misiones y los tenderos funcionan bien como chat de texto con TTS, así que los jugadores escriben y el personaje habla.
  • Los compañeros y los personajes de VR se benefician más de la voz completa, porque los jugadores ya están hablando en voz alta o tienen las manos ocupadas.
  • Accesibilidad. La entrada de voz ayuda a los jugadores a quienes les cuesta escribir, y las respuestas habladas ayudan a quienes tienen dificultades para leer. Ofrece ambas direcciones como opciones, no como requisitos.

Constrúyelo en tu motor

Cada guía de motor de esta serie configura la misma canalización paso a paso:

Todas están reunidas en nuestra guía para construir NPC de IA.

Preguntas frecuentes

¿Cuál es la diferencia entre STT y TTS?

Van en direcciones opuestas. La voz a texto (STT) convierte la voz del jugador en texto que el juego puede leer, y el texto a voz (TTS) convierte la respuesta escrita del personaje en audio. Un NPC con voz necesita ambos, con un modelo de lenguaje en medio.

¿Necesito un LLM para un NPC que habla?

Solo si el NPC debe responder cosas que no escribiste. Las líneas pregrabadas no necesitan ningún modelo. Para una conversación abierta necesitas STT, un LLM y TTS, y Neocortex ejecuta los tres detrás de un solo personaje.

¿Qué tan rápido puede responder un NPC de IA con voz?

El retraso es la suma de esperar a que el jugador termine, transcribir, escribir las primeras palabras y decirlas. Hacer que cada etapa alimente a la siguiente en streaming es lo que lo acerca a un segundo. Neocortex habla una respuesta mientras todavía se está escribiendo.

¿Puedo usar mis propias voces para un NPC de IA?

Sí. Neocortex tiene una biblioteca de voces predefinidas, y voces personalizadas en el plan Pro (5) y en el plan Team (20). Cada personaje conserva su voz en Unity, Unreal, Godot y en la web.

¿Funciona el chat de voz con un NPC de IA sin conexión?

Solo si los tres modelos se ejecutan en el dispositivo del jugador. Neocortex funciona en la nube por defecto, y los estudios pueden acordar un runtime en el dispositivo como plan Custom.

Artículos similares

Sigue leyendo