Comandi vocali in VR: controllo a mani libere su Meta Quest
Aggiungi comandi vocali in VR con Neocortex: controllo offline sul visore Meta Quest per cambiare strumento, aprire menu e avviare l'addestramento, più un istruttore IA.
Neocortex TeamThe team behind Neocortex
· 6 min di lettura

In VR le mani del giocatore sono il controller: una tiene la chiave inglese, l'altra la torcia, e raggiungere un menu sul polso significa lasciarne una. I Comandi vocali di Neocortex permettono al giocatore di tenerle entrambe: dice "pause the simulation" oppure "switch to the gauge", cioè "metti in pausa la simulazione" o "passa al manometro", e il comando viene riconosciuto sul visore Meta Quest stesso, offline. Aggiungi un personaggio istruttore IA, e la stessa voce che fa girare lo scenario può chiedere perché la pressione è appena salita.
Come appare
Halvard Station è una simulazione di addestramento VR originale per tecnici di manutenzione, ambientata su una fittizia piattaforma di pompaggio offshore. Lo scenario di oggi: una flangia che perde nella sala pompe due. Il tirocinante è accovacciato sotto una tubazione, con la torcia nella mano sinistra e una chiave dinamometrica nella destra, seduto su un bullone.
Senza lasciare nessuna delle due, dice:
"Show me the isolation valve."
Un contorno morbido compare attorno a una valvola a volantino sulla parete di fondo. Poi: "Pause the simulation and switch to the pressure gauge." Il sibilo della perdita si ferma a metà spruzzo, e la chiave nella mano destra diventa un manometro portatile. "Resume." La perdita riprende. "Call the control room", e un operatore radio risponde sul canale del tirocinante.
La lettura è più alta di quanto il tirocinante si aspettasse. Non è un comando ma una domanda, quindi va all'istruttore, un personaggio IA chiamato Chief Engineer Odile Varga:
Trainee: Why did the pressure jump when I cracked that bolt? Odile: Because the line's still live. You skipped the bleed valve. Snug that bolt back down, bleed the line, then try again.
Odile sa che il tirocinante ha saltato un passaggio perché lo scenario glielo ha inviato come evento. La procedura vera e propria vive nella sua knowledge base, caricata dal manuale di manutenzione della stazione. La sua risposta includeva anche un'azione di evidenziazione sulla valvola di spurgo, così il tirocinante sa esattamente dove guardare.
Come Neocortex lo rende possibile
- Sul visore, offline. Il riconoscimento vocale e l'abbinamento dei comandi girano sul Quest. I comandi continuano a funzionare in una sala di addestramento con un Wi-Fi instabile, e nessun audio lascia il visore.
- Le mani restano sul compito. Menu, cambi di strumento, controlli dello scenario e chiamate ai compagni passano alla voce, così il giocatore non deve mai posare ciò che tiene in mano.
- Formulazioni naturali. "Pause", "freeze the sim" e "stop the simulation" possono attivare tutti la stessa azione. I tirocinanti dicono ciò che viene loro spontaneo sotto pressione, non una frase presa da un foglio.
- Più azioni in una frase. "Pause the simulation and switch to the pressure gauge" arriva come due comandi.
- Contesto. "Show me the bleed valve. Now open it." risolve "it" nella valvola appena evidenziata.
- Push-to-talk oppure ascolto continuo. Un tasto di presa o un tasto frontale può fare da push-to-talk quando un dito è libero. Negli addestramenti in cui entrambe le mani sono sempre occupate, l'ascolto continuo spesso va meglio.
- Set di comandi con attori, azioni e oggetti, progettati nella dashboard di Neocortex: compagni e sala di controllo come attori; pausa, mostra, cambia e chiama come azioni; valvole, strumenti e stanze come oggetti.
- Più lingue. Un set di comandi per ogni lingua, così le squadre possono addestrarsi nella lingua in cui lavorano.
Odile è un personaggio IA di Neocortex costruito nel node editor visuale, con una personalità, una voce in streaming e tag di emozione su ogni battuta. La sua knowledge base accetta caricamenti di PDF o TXT (5 nel piano Starter, 20 nel Pro, 100 nel Team). Il tuo scenario invia eventi come "trainee opened the flange before bleeding the line", cioè il tirocinante ha aperto la flangia prima di spurgare la linea, e lei restituisce azioni che hai scritto, come evidenziare un componente, con il bersaglio che la tua app deve illuminare. Una voce personalizzata per l'istruttore è disponibile nel piano Pro (5 voci personalizzate) e nel Team (20).
Idee da costruire
Una squadra in uno shooter VR. Con il fucile imbracciato a due mani, il giocatore dice "Mara, smoke the courtyard. Jensen, take the left door." cioè "Mara, copri il cortile con il fumo. Jensen, prendi la porta di sinistra." Ogni compagno è un attore, quindi gli ordini si dividono in modo pulito, e ciascuno può essere un personaggio IA che risponde con la propria voce quando il giocatore chiede un rapporto di stato.
Uno strumento di costruzione VR. In un'app creativa le mani scolpiscono e posizionano, e la voce gestisce la barra degli strumenti: "switch to the brush", "make it twice as big", "duplicate that", "undo", cioè "passa al pennello", "rendilo due volte più grande", "duplica quello", "annulla". Nessuno deve cercare in una tavolozza fluttuante a metà di un tratto, e il lavoro resta davanti a loro.
Una stanza enigmistica VR. I giocatori tengono una lanterna in una mano e una leva nell'altra mentre risolvono la stanza: "lower the bridge", "rotate the left mirror", cioè "abbassa il ponte", "ruota lo specchio di sinistra". Abbinala a un personaggio IA che dà suggerimenti quando richiesti, e la stanza può essere generosa o avara a seconda di come se la cava il giocatore.
Controllo dello scenario per gli istruttori. In un programma di addestramento più lungo, la voce permette al tirocinante di resettare e variare l'esercitazione senza uscire dal visore: "restart from the leak", "run it again with the alarm on", cioè "ricomincia dalla perdita", "rifallo con l'allarme attivo". Lo scenario diventa qualcosa che possono ripetere dieci volte in una sessione invece di due.
Come costruirlo
I Comandi vocali di Neocortex girano sul visore Meta Quest, dentro la tua app VR. I personaggi IA come l'istruttore si collegano tramite l'API di Neocortex, e la nostra demo VR open source è un progetto Quest funzionante con personaggi IA da cui partire.
- Trova i momenti in cui le mani sono piene. Percorri la tua esperienza e segna ogni cambio di strumento, menu, pausa e richiesta di aiuto. Diventeranno i tuoi comandi.
- Progetta un set di comandi nella dashboard di Neocortex: compagni e postazioni come attori, i tuoi verbi come azioni, e l'attrezzatura e i luoghi della scena come oggetti, con alcune frasi di esempio per ciascuno.
- Aggiungi i Comandi vocali di Neocortex alla tua build Quest e collega ogni comando riconosciuto al controller dello scenario e al sistema degli strumenti.
- Scegli una modalità di ascolto adatta alle mani: ascolto continuo per gli esercizi in cui entrambe le mani restano occupate, push-to-talk su un tasto di presa per i giochi con molte conversazioni.
- Aggiungi l'istruttore IA: un personaggio Neocortex con una personalità, una voce, una knowledge base delle tue procedure e azioni per evidenziare l'attrezzatura. Invia gli eventi dello scenario con ogni domanda, così le risposte seguono ciò che il tirocinante ha fatto davvero.
- Aggiungi un set di comandi per ogni lingua parlata dai tuoi tirocinanti o giocatori.
Dai a ogni comando una piccola conferma nel visore, come un suono leggero o una breve etichetta vicino al polso. Senza un bordo dello schermo a cui lanciare uno sguardo, i giocatori devono sapere di essere stati ascoltati. Tieni raggiungibile anche il menu sul polso con la mano, per chi preferisce toccare piuttosto che parlare.
I Comandi vocali sono un SDK con licenza: contattaci per una licenza dei Comandi vocali. L'istruttore e gli altri personaggi IA, con l'API che li alimenta, sono inclusi in ogni piano.
La VR a mani libere è una voce della nostra raccolta di casi d'uso di NPC con IA, IA ambientale e comandi vocali. Per saperne di più sui visori, leggi formazione VR sulle soft skill con IA e personaggi IA per le escape room VR, e vedi la pagina esperienze VR. Inizia con un cambio di strumento e un comando di pausa, e osserva quanto in fretta i tirocinanti smettono di cercare il menu.
Verificato a ottobre 2026.
Domande frequenti
Si possono usare i comandi vocali in un'app per Meta Quest?
Sì. I Comandi vocali di Neocortex girano sul visore Meta Quest stesso, quindi i giocatori possono aprire menu, cambiare strumento e controllare uno scenario a voce mentre le mani restano sui controller.
I comandi vocali in VR richiedono una connessione internet?
No. I Comandi vocali di Neocortex riconoscono e abbinano il parlato sul visore, offline, e nessun audio lascia il dispositivo. Solo un personaggio IA, se ne aggiungi uno, usa l'API di Neocortex.
I comandi vocali possono controllare una simulazione di addestramento VR?
Sì. Comandi come "pause the simulation" o "show me the valve" arrivano come azioni e oggetti che la tua app di addestramento esegue, e un personaggio istruttore IA di Neocortex può rispondere a domande più lunghe sulla procedura.
Come aggiungo un istruttore IA a un'app VR?
Crea un personaggio IA di Neocortex con la personalità, la voce e una knowledge base delle tue procedure dell'istruttore, poi invia gli eventi dello scenario con ogni domanda. La nostra demo open source per Meta Quest mostra un progetto VR che parla con personaggi IA.






