Commandes vocales en VR : mains libres sur Meta Quest
Ajoutez des commandes vocales en VR avec Neocortex : contrôle hors ligne sur le casque Meta Quest pour changer d'outil, ouvrir des menus et lancer un exercice, plus un instructeur IA.
Neocortex TeamThe team behind Neocortex
· 6 min de lecture

En VR, les mains du joueur sont la manette : l'une tient la clé à molette, l'autre la torche, et atteindre un menu au poignet oblige à lâcher l'une d'elles. Les Voice Commands de Neocortex permettent au joueur de garder les deux : il dit « mets la simulation en pause » ou « passe à la jauge », et la commande est reconnue sur le casque Meta Quest lui-même, hors ligne. Ajoutez un personnage instructeur IA, et la même voix qui pilote le scénario peut demander pourquoi la pression vient de monter.
À quoi cela ressemble
Halvard Station est une simulation de formation VR originale pour techniciens de maintenance, sur une plateforme de pompage offshore fictive. Scénario du jour : une bride qui fuit dans la salle de pompes deux. Le stagiaire est accroupi sous une tuyauterie, une torche dans la main gauche et une clé dynamométrique dans la droite, assis sur un boulon.
Sans lâcher l'une ni l'autre, il dit :
« Montre-moi la vanne d'isolement. »
Un contour léger apparaît autour d'une vanne à volant sur le mur du fond. Puis : « Mets la simulation en pause et passe au manomètre de pression. » Le sifflement de la fuite s'arrête en pleine projection, et la clé dans la main droite devient un manomètre portatif. « Reprendre. » La fuite repart. « Appelle la salle de contrôle », et un opérateur radio répond sur le canal du stagiaire.
La valeur affichée est plus élevée que prévu. Ce n'est pas une commande, c'est une question, qui part donc vers l'instructeur, un personnage IA nommé Chief Engineer Odile Varga :
Stagiaire : Pourquoi la pression a-t-elle grimpé quand j'ai desserré ce boulon ? Odile : Parce que la conduite est encore sous pression. Tu as sauté la purge. Resserre ce boulon, purge la conduite, puis recommence.
Odile sait que le stagiaire a sauté une étape, car le scénario le lui a transmis sous forme d'événement. La procédure elle-même vit dans sa base de connaissances, importée depuis le manuel de maintenance de la station. Sa réponse incluait aussi une action de surbrillance sur la purge, pour que le stagiaire sache exactement où regarder.
Comment Neocortex fait fonctionner tout cela
- Sur le casque, hors ligne. La reconnaissance vocale et la correspondance des commandes tournent sur le Quest. Les commandes continuent de fonctionner dans une salle d'entraînement au Wi-Fi capricieux, et aucun audio ne quitte le casque.
- Les mains restent sur la tâche. Menus, changements d'outil, contrôles du scénario et appels aux coéquipiers passent tous à la voix, si bien que le joueur n'a jamais à poser ce qu'il tient.
- Un langage naturel. « Pause », « fige la simulation » et « arrête la simulation » peuvent déclencher la même action. Les stagiaires disent ce qui leur vient naturellement sous pression, et non une phrase tirée d'un polycopié.
- Plusieurs actions dans une phrase. « Mets la simulation en pause et passe au manomètre de pression » arrive sous forme de deux commandes.
- Le contexte. « Montre-moi la purge. Maintenant ouvre-la. » fait correspondre « la » à la vanne qui vient d'être mise en surbrillance.
- Appuyer pour parler ou écoute permanente. Un bouton de préhension ou de visage peut servir d'appui pour parler quand un doigt est libre. Dans un exercice où les deux mains sont toujours occupées, l'écoute permanente convient souvent mieux.
- Des jeux de commandes d'acteurs, d'actions et d'objets, conçus dans le tableau de bord Neocortex : coéquipiers et salle de contrôle comme acteurs ; mettre en pause, montrer, changer et appeler comme actions ; vannes, outils et salles comme objets.
- Plusieurs langues. Un jeu de commandes par langue, pour que les équipes puissent s'entraîner dans la langue qu'elles utilisent au travail.
Odile est un personnage IA Neocortex construit dans l'éditeur de nœuds visuel, avec une personnalité, une voix en streaming et des balises d'émotion sur chaque réplique. Sa base de connaissances accepte des imports PDF ou TXT (5 sur Starter, 20 sur Pro, 100 sur Team). Votre scénario envoie des événements comme « le stagiaire a ouvert la bride avant de purger la conduite », et elle renvoie des actions que vous avez écrites, comme la mise en surbrillance d'une pièce, avec la cible que votre application doit éclairer. Une voix d'instructeur personnalisée est disponible sur Pro (5 voix personnalisées) et Team (20).
Idées à réaliser
Une escouade de shooter VR. Le fusil épaulé à deux mains, le joueur lance : « Mara, fume la cour. Jensen, prends la porte de gauche. » Chaque coéquipier est un acteur, donc les ordres se répartissent proprement, et chacun peut être un personnage IA qui répond avec sa propre voix quand le joueur demande un rapport de situation.
Un outil de construction VR. Dans une application créative, les mains sculptent et placent, et la voix pilote la barre d'outils : « passe au pinceau », « rends-le deux fois plus grand », « duplique ça », « annule ». Personne n'a à fouiller dans une palette flottante au milieu d'un geste, et le travail reste devant eux.
Une salle d'énigmes VR. Les joueurs tiennent une lanterne d'une main et un levier de l'autre pendant qu'ils résolvent la salle : « abaisse le pont », « fais pivoter le miroir de gauche ». Associez-la à un personnage IA qui donne des indices sur demande, et la salle peut être généreuse ou avare selon la progression du joueur.
Le contrôle de scénario pour les formateurs. Dans un programme de formation plus long, la voix permet au stagiaire de réinitialiser et de varier l'exercice sans quitter le casque : « recommence depuis la fuite », « relance avec l'alarme activée ». Le scénario devient quelque chose qu'il peut répéter dix fois dans une session au lieu de deux.
Le construire
Les Voice Commands de Neocortex tournent sur le casque Meta Quest, à l'intérieur de votre application VR. Les personnages IA comme l'instructeur se connectent par l'API Neocortex, et notre démo VR open source est un projet Quest fonctionnel avec des personnages IA pour démarrer.
- Repérez les moments où les mains sont pleines. Parcourez votre expérience et marquez chaque changement d'outil, chaque menu, chaque pause et chaque appel à l'aide. Ce seront vos commandes.
- Concevez un jeu de commandes dans le tableau de bord Neocortex : coéquipiers et postes comme acteurs, vos verbes comme actions, et l'équipement et les lieux de la scène comme objets, avec quelques exemples de phrases pour chacun.
- Ajoutez Neocortex Voice Commands à votre build Quest et reliez chaque commande reconnue à votre contrôleur de scénario et à votre système d'outils.
- Choisissez un mode d'écoute adapté aux mains : écoute permanente pour les exercices où les deux mains restent occupées, appui pour parler sur un bouton de préhension pour les jeux avec beaucoup de dialogues.
- Ajoutez l'instructeur IA : un personnage Neocortex avec une personnalité, une voix, une base de connaissances de vos procédures et des actions pour mettre en surbrillance l'équipement. Envoyez les événements du scénario avec chaque question pour que les réponses suivent ce que le stagiaire a réellement fait.
- Ajoutez un jeu de commandes par langue que parlent vos stagiaires ou vos joueurs.
Donnez à chaque commande un petit accusé de réception dans le casque, comme un carillon discret ou une courte étiquette près du poignet. Sans bord d'écran où jeter un œil, les joueurs doivent savoir qu'ils ont été entendus. Gardez aussi le menu au poignet accessible à la main, pour ceux qui préfèrent tendre le bras plutôt que parler.
Voice Commands est un SDK sous licence : contactez-nous pour une licence Voice Commands. L'instructeur et les autres personnages IA, avec l'API qui les fait fonctionner, font partie de chaque forfait.
Le contrôle mains libres en VR est l'un des cas présentés dans notre article sur les cas d'usage des PNJ IA, de l'IA d'ambiance et des commandes vocales. Pour en savoir plus sur les casques, lisez la formation aux compétences relationnelles en VR avec l'IA et les personnages IA pour les escape rooms VR, et consultez la page expériences VR. Commencez avec un changement d'outil et une commande de pause, et observez la rapidité avec laquelle les stagiaires cessent d'aller chercher le menu.
Vérifié en octobre 2026.
Questions fréquentes
Peut-on utiliser des commandes vocales dans une application Meta Quest ?
Oui. Neocortex Voice Commands tourne sur le casque Meta Quest lui-même, si bien que les joueurs peuvent ouvrir des menus, changer d'outil et piloter un scénario à la voix pendant que leurs mains restent sur les manettes.
Les commandes vocales en VR ont-elles besoin d'une connexion Internet ?
Non. Neocortex Voice Commands reconnaît et fait correspondre la parole sur le casque, hors ligne, et aucun audio ne quitte l'appareil. Seul un personnage IA, si vous en ajoutez un, utilise l'API Neocortex.
Les commandes vocales peuvent-elles piloter une simulation de formation VR ?
Oui. Des commandes comme "mets la simulation en pause" ou "montre-moi la vanne" arrivent sous forme d'actions et d'objets que votre application de formation exécute, et un personnage instructeur IA Neocortex peut répondre aux questions plus longues sur la procédure.
Comment ajouter un instructeur IA à une application VR ?
Créez un personnage IA Neocortex avec la personnalité, la voix de l'instructeur et une base de connaissances de vos procédures, puis envoyez des événements de scénario avec chaque question. Notre démo Meta Quest open source montre un projet VR qui dialogue avec des personnages IA.






