Comandos de voz en VR: control manos libres en Meta Quest
Añade comandos de voz en VR con Neocortex: control sin conexión en el visor Meta Quest para cambiar de herramienta, abrir menús y ejecutar entrenamientos, además de un instructor con IA.
Neocortex TeamThe team behind Neocortex
· 6 min de lectura

En VR, las manos del jugador son el mando: una sostiene la llave inglesa, la otra sostiene la linterna, y alcanzar un menú en la muñeca significa soltar una de ellas. Neocortex Voice Commands permite al jugador seguir sujetando ambas: dice "pausa la simulación" o "cambia al manómetro", y el comando se reconoce en el propio visor Meta Quest, sin conexión. Si añades un personaje instructor con IA, la misma voz que dirige el escenario puede preguntar por qué la presión acaba de dispararse.
Cómo se ve
Halvard Station es una simulación de entrenamiento en VR original para técnicos de mantenimiento en una plataforma de bombeo marina ficticia. El escenario de hoy: una brida con fuga en la sala de bombas dos. El aprendiz está agachado bajo una tubería con una linterna en la mano izquierda y una llave dinamométrica en la derecha, apoyado sobre un perno.
Sin soltar ninguna de las dos, dice:
"Muéstrame la válvula de aislamiento."
Aparece un contorno suave alrededor de una válvula de volante en la pared del fondo. Luego: "Pausa la simulación y cambia al manómetro de presión". El siseo de la fuga se detiene a mitad de chorro, y la llave de la mano derecha se convierte en un manómetro de mano. "Reanuda". La fuga vuelve a salir. "Llama a la sala de control", y un operador de radio responde en el canal del aprendiz.
La lectura es más alta de lo que esperaba el aprendiz. Eso no es un comando, es una pregunta, así que va al instructor, un personaje de IA llamado Ingeniera Jefe Odile Varga:
Aprendiz: ¿Por qué subió la presión cuando aflojé ese perno? Odile: Porque la línea sigue con presión. Te saltaste la válvula de purga. Aprieta otra vez el perno, purga la línea y vuelve a intentarlo.
Odile sabe que el aprendiz se saltó un paso porque el escenario se lo envió como evento. El procedimiento en sí vive en su base de conocimiento, cargada desde el manual de mantenimiento de la estación. Su respuesta también llevó una acción de resaltado sobre la válvula de purga, así que el aprendiz sabe exactamente dónde mirar.
Cómo hace Neocortex que funcione
- En el visor, sin conexión. El reconocimiento de voz y la comparación de comandos se ejecutan en el Quest. Los comandos siguen funcionando en una sala de entrenamiento con Wi-Fi irregular, y ningún audio sale del visor.
- Las manos siguen en la tarea. Los menús, los cambios de herramienta, los controles del escenario y las llamadas a compañeros pasan a la voz, así que el jugador nunca tiene que soltar lo que sostiene.
- Frases naturales. "Pausa", "congela la simulación" y "detén la simulación" pueden activar la misma acción. Los aprendices dicen lo que les sale natural bajo presión, no una frase de un manual.
- Varias acciones en una frase. "Pausa la simulación y cambia al manómetro de presión" llega como dos comandos.
- Contexto. "Muéstrame la purga. Ahora ábrela" resuelve "ella" como la válvula recién resaltada.
- Pulsar para hablar o escuchar siempre. Un botón de agarre o de cara puede actuar como pulsar para hablar cuando tienes un dedo libre. En entrenamientos donde las dos manos están siempre ocupadas, escuchar siempre suele encajar mejor.
- Conjuntos de comandos de actores, acciones y objetos, diseñados en el panel de Neocortex: compañeros y la sala de control como actores; pausar, mostrar, cambiar y llamar como acciones; válvulas, herramientas y salas como objetos.
- Varios idiomas. Un conjunto de comandos por idioma, para que las cuadrillas puedan entrenar en el idioma en el que trabajan.
Odile es un personaje de IA de Neocortex creado en el editor visual de nodos, con personalidad, voz en streaming y etiquetas de emoción en cada línea. Su base de conocimiento admite subidas de PDF o TXT (5 en Starter, 20 en Pro, 100 en Team). Tu escenario envía eventos como "el aprendiz abrió la brida antes de purgar la línea", y ella devuelve acciones que tú has diseñado, como resaltar una pieza, con el objetivo que tu app debe iluminar. Una voz de instructor personalizada está disponible en Pro (5 voces personalizadas) y en Team (20).
Ideas para construir
Un escuadrón de tiro en VR. Con el rifle en alto y ambas manos, el jugador dice "Mara, humo en el patio. Jensen, toma la puerta de la izquierda". Cada compañero es un actor, así que las órdenes se separan limpiamente, y cada uno puede ser un personaje de IA que responde con su propia voz cuando el jugador pide un informe de estado.
Una herramienta de construcción en VR. En una app creativa, las manos esculpen y colocan, y la voz maneja la barra de herramientas: "cambia al pincel", "hazlo el doble de grande", "duplica eso", "deshacer". Nadie tiene que buscar en una paleta flotante en mitad de un trazo, y el trabajo se queda delante de ellos.
Una sala de puzles en VR. Los jugadores sostienen un farol en una mano y una palanca en la otra mientras averiguan la sala: "baja el puente", "gira el espejo izquierdo". Combínalo con un personaje de IA que da pistas cuando se le pregunta, y la sala puede ser generosa o austera según cómo vaya el jugador.
Control del escenario para formadores. En un programa de entrenamiento más largo, la voz permite al aprendiz reiniciar y variar el ejercicio sin salir del visor: "reinicia desde la fuga", "repítelo con la alarma activada". El escenario pasa a ser algo que puede repetir diez veces en una sesión en lugar de dos.
Cómo construirlo
Neocortex Voice Commands se ejecuta en el visor Meta Quest, dentro de tu app de VR. Los personajes de IA, como el instructor, se conectan a través de la API de Neocortex, y nuestra demo de VR de código abierto es un proyecto funcional para Quest con personajes de IA con el que empezar.
- Encuentra los momentos en que las manos están ocupadas. Recorre tu experiencia y marca cada cambio de herramienta, menú, pausa o petición de ayuda. Esos serán tus comandos.
- Diseña un conjunto de comandos en el panel de Neocortex: compañeros y estaciones como actores, tus verbos como acciones, y el equipo y los lugares de la escena como objetos, con algunas frases de ejemplo para cada uno.
- Añade Neocortex Voice Commands a tu build de Quest y conecta cada comando reconocido con tu controlador de escenario y tu sistema de herramientas.
- Elige un modo de escucha que encaje con las manos: escuchar siempre en ejercicios donde las dos manos siguen ocupadas, pulsar para hablar en un botón de agarre para juegos con mucha conversación.
- Añade el instructor de IA: un personaje de Neocortex con personalidad, voz, una base de conocimiento de tus procedimientos y acciones para resaltar equipos. Envía eventos del escenario con cada pregunta para que las respuestas sigan lo que el aprendiz hizo de verdad.
- Añade un conjunto de comandos por cada idioma que hablen tus aprendices o jugadores.
Dale a cada comando un pequeño acuse de recibo en el visor, como un sonido suave o una etiqueta corta cerca de la muñeca. Sin borde de pantalla que mirar, los jugadores necesitan saber que se les ha oído. Mantén también el menú de muñeca accesible con la mano, para quien prefiera alcanzar en lugar de hablar.
Voice Commands es un SDK con licencia: contacta con nosotros para obtener una licencia de Voice Commands. El instructor y otros personajes de IA, con la API que los sustenta, forman parte de todos los planes.
El control manos libres en VR es uno de los casos de nuestra guía de casos de uso de NPC con IA, IA ambiental y comandos de voz. Para saber más sobre visores, lee formación de habilidades blandas en VR con IA y personajes de IA para salas de escape en VR, y consulta la página de experiencias VR. Empieza con un cambio de herramienta y un comando de pausa, y observa lo rápido que los aprendices dejan de alcanzar el menú.
Revisado en octubre de 2026.
Preguntas frecuentes
¿Se pueden usar comandos de voz en una app de Meta Quest?
Sí. Neocortex Voice Commands se ejecuta en el propio visor Meta Quest, así que los jugadores pueden abrir menús, cambiar de herramienta y controlar un escenario por voz mientras sus manos siguen en los mandos.
¿Los comandos de voz en VR necesitan conexión a internet?
No. Neocortex Voice Commands reconoce y compara la voz en el visor, sin conexión, y ningún audio sale del dispositivo. Solo un personaje de IA, si añades uno, usa la API de Neocortex.
¿Pueden los comandos de voz controlar una simulación de entrenamiento en VR?
Sí. Comandos como "pausa la simulación" o "muéstrame la válvula" llegan como acciones y objetos que tu app de entrenamiento ejecuta, y un personaje instructor de IA de Neocortex puede responder preguntas más largas sobre el procedimiento.
¿Cómo añado un instructor de IA a una app de VR?
Crea un personaje de IA de Neocortex con la personalidad, la voz y una base de conocimiento de tus procedimientos del instructor, y envía eventos del escenario con cada pregunta. Nuestra demo de Meta Quest de código abierto muestra un proyecto de VR hablando con personajes de IA.






