Neocortex Logo

Sprachbefehle in VR: Freihändige Steuerung auf Meta Quest

Sprachbefehle in VR mit Neocortex: Steuerung offline auf dem Meta-Quest-Headset, um Werkzeuge zu wechseln, Menüs zu öffnen und Training zu starten, dazu ein KI-Ausbilder.

Neocortex TeamThe team behind Neocortex

· 6 Min. Lesezeit

Sprachbefehle in VR mit Neocortex: Steuerung offline auf dem Meta-Quest-Headset, um Werkzeuge zu wechseln, Menüs zu öffnen und Training zu starten, dazu ein KI-Ausbilder.

In VR sind die Hände des Spielers der Controller: In der einen Hand liegt der Schraubenschlüssel, in der anderen die Taschenlampe, und wer nach einem Handgelenksmenü greift, muss eine davon loslassen. Neocortex Voice Commands lässt den Spieler beide Hände behalten: Er sagt "pause the simulation" oder "switch to the gauge", und der Befehl wird direkt auf dem Meta-Quest-Headset erkannt, offline. Fügen Sie eine KI-Ausbilderfigur hinzu, und dieselbe Stimme, die das Szenario steuert, kann fragen, warum der Druck gerade gestiegen ist.

So sieht es aus

Halvard Station ist ein eigenständiges VR-Trainingsspiel für Wartungstechniker auf einer fiktiven Offshore-Pumpenplattform. Das heutige Szenario: ein undichter Flansch in Pumpenraum zwei. Der Auszubildende kauert unter einer Rohrleitung, hält in der linken Hand eine Taschenlampe und in der rechten einen Drehmomentschlüssel und sitzt auf einem Bolzen.

Ohne eine der beiden Hände loszulassen, sagt er:

"Show me the isolation valve."

Ein weicher Umriss erscheint um ein Handrad an der fernen Wand. Dann: "Pause the simulation and switch to the pressure gauge." Das Zischen des Lecks bricht mitten im Strahl ab, und der Schlüssel in der rechten Hand wird zu einem Handmanometer. "Resume." Das Leck setzt wieder ein. "Call the control room", und ein Funkoperator antwortet auf dem Kanal des Auszubildenden.

Der Messwert liegt höher, als der Auszubildende erwartet hat. Das ist kein Befehl, sondern eine Frage, also geht sie an den Ausbilder, eine KI-Figur namens Chief Engineer Odile Varga:

Trainee: Why did the pressure jump when I cracked that bolt? Odile: Because the line's still live. You skipped the bleed valve. Snug that bolt back down, bleed the line, then try again.

Odile weiß, dass der Auszubildende einen Schritt übersprungen hat, weil das Szenario es ihr als Ereignis gemeldet hat. Das Verfahren selbst steckt in ihrer Wissensbasis, die aus dem Wartungshandbuch der Station hochgeladen wurde. Ihre Antwort enthielt außerdem eine Hervorhebungsaktion am Entlüftungsventil, damit der Auszubildende genau weiß, wohin er schauen muss.

So funktioniert Neocortex dabei

  • Auf dem Headset, offline. Spracherkennung und Befehlszuordnung laufen auf der Quest. Befehle funktionieren weiter in einem Trainingsraum mit wackligem WLAN, und kein Audio verlässt das Headset.
  • Die Hände bleiben bei der Aufgabe. Menüs, Werkzeugwechsel, Szenariosteuerung und Anrufe bei Teamkollegen laufen alle über die Stimme, sodass der Spieler nie loslassen muss, was er gerade hält.
  • Natürliche Formulierungen. "Pause", "freeze the sim" und "stop the simulation" können alle dieselbe Aktion auslösen. Auszubildende sagen, was unter Druck von allein kommt, nicht eine Formulierung aus dem Handout.
  • Mehrere Aktionen in einem Satz. "Pause the simulation and switch to the pressure gauge" kommt als zwei Befehle an.
  • Kontext. "Show me the bleed valve. Now open it." löst "it" auf das Ventil auf, das gerade hervorgehoben wurde.
  • Drücken zum Sprechen oder ständiges Zuhören. Eine Griff- oder Gesichtstaste kann als Drücken-zum-Sprechen dienen, wenn ein Finger frei ist. Im Training, in dem beide Hände immer beschäftigt sind, passt ständiges Zuhören oft besser.
  • Befehlssätze aus Akteuren, Aktionen und Objekten, im Neocortex-Dashboard entworfen: Teamkollegen und die Leitstelle als Akteure; pause, show, switch und call als Aktionen; Ventile, Werkzeuge und Räume als Objekte.
  • Mehrere Sprachen. Ein Befehlssatz pro Sprache, damit Crews in der Sprache trainieren können, in der sie arbeiten.

Odile ist eine Neocortex-KI-Figur, die im visuellen Node-Editor gebaut wurde, mit Persönlichkeit, einer gestreamten Stimme und Emotions-Tags bei jeder Zeile. Ihre Wissensbasis nimmt PDF- oder TXT-Uploads an (5 im Starter-, 20 im Pro- und 100 im Team-Tarif). Ihr Szenario sendet Ereignisse wie "trainee opened the flange before bleeding the line", und sie gibt Aktionen zurück, die Sie festgelegt haben, etwa das Hervorheben eines Teils, mit dem Ziel, das Ihre App aufleuchten lassen soll. Eine eigene Ausbilderstimme gibt es im Pro-Tarif (5 eigene Stimmen) und im Team-Tarif (20).

Ideen zum Umsetzen

Ein VR-Shooter-Trupp. Das Gewehr hält der Spieler mit beiden Händen, und er ruft "Mara, smoke the courtyard. Jensen, take the left door." Jeder Teamkollege ist ein Akteur, sodass sich die Befehle sauber aufteilen, und jeder kann eine KI-Figur sein, die in ihrer eigenen Stimme antwortet, wenn der Spieler einen Lagebericht verlangt.

Ein VR-Baukasten. In einer kreativen App formen und platzieren die Hände, und die Stimme bedient die Werkzeugleiste: "switch to the brush", "make it twice as big", "duplicate that", "undo". Niemand muss mitten im Strich in einer schwebenden Palette wühlen, und die Arbeit bleibt vor ihm.

Ein VR-Rätselraum. Die Spieler halten in einer Hand eine Laterne und in der anderen einen Hebel, während sie den Raum durchdenken: "lower the bridge", "rotate the left mirror". Kombinieren Sie es mit einer KI-Figur, die auf Nachfrage Hinweise gibt, dann kann der Raum je nach Fortschritt des Spielers großzügig oder knauserig sein.

Szenariosteuerung für Trainer. In einem längeren Trainingsprogramm erlaubt die Stimme dem Auszubildenden, die Übung zurückzusetzen und abzuwandeln, ohne das Headset abzusetzen: "restart from the leak", "run it again with the alarm on". Das Szenario wird etwas, das er in einer Sitzung zehnmal statt zweimal wiederholen kann.

So bauen Sie es

Neocortex Voice Commands läuft auf dem Meta-Quest-Headset, innerhalb Ihrer VR-App. KI-Figuren wie der Ausbilder verbinden sich über die Neocortex-API, und unsere Open-Source-VR-Demo ist ein funktionierendes Quest-Projekt mit KI-Figuren, mit dem Sie starten können.

  1. Finden Sie die Momente, in denen die Hände voll sind. Gehen Sie Ihr Erlebnis durch und markieren Sie jeden Werkzeugwechsel, jedes Menü, jede Pause und jeden Hilferuf. Daraus werden Ihre Befehle.
  2. Entwerfen Sie einen Befehlssatz im Neocortex-Dashboard: Teamkollegen und Stationen als Akteure, Ihre Verben als Aktionen, und die Ausrüstung und Orte der Szene als Objekte, mit einigen Beispielformulierungen für jeden.
  3. Fügen Sie Neocortex Voice Commands Ihrem Quest-Build hinzu und verbinden Sie jeden erkannten Befehl mit Ihrer Szenariosteuerung und Ihrem Werkzeugsystem.
  4. Wählen Sie einen Zuhörmodus, der zu den Händen passt: ständiges Zuhören bei Übungen, in denen beide Hände immer beschäftigt bleiben, Drücken zum Sprechen auf einer Griff-Taste bei Spielen mit viel Gerede.
  5. Fügen Sie den KI-Ausbilder hinzu: eine Neocortex-Figur mit Persönlichkeit, Stimme, einer Wissensbasis Ihrer Verfahren und Aktionen zum Hervorheben von Ausrüstung. Senden Sie bei jeder Frage Szenarioereignisse mit, damit die Antworten dem folgen, was der Auszubildende tatsächlich getan hat.
  6. Fügen Sie einen Befehlssatz pro Sprache hinzu, die Ihre Auszubildenden oder Spieler sprechen.

Geben Sie jedem Befehl eine kleine Bestätigung im Headset, etwa einen leisen Ton oder ein kurzes Label nahe am Handgelenk. Ohne Bildschirmrand, auf den man einen Blick werfen kann, müssen Spieler wissen, dass sie gehört wurden. Halten Sie das Handgelenksmenü auch mit der Hand erreichbar, für alle, die lieber greifen als sprechen.

Voice Commands ist ein lizenziertes SDK: Kontaktieren Sie uns für eine Lizenz für Voice Commands. Der Ausbilder und andere KI-Figuren mit der dahinterliegenden API sind in jedem Tarif enthalten.

Freihändiges VR ist ein Punkt in unserer Übersicht KI-NPC-, Ambient-KI- und Sprachbefehl-Anwendungsfälle. Mehr zu Headsets lesen Sie in KI-gestütztes VR-Training für Soft Skills und KI-Figuren für VR-Escape-Rooms, und die Seite VR-Erlebnisse zeigt weitere Beispiele. Beginnen Sie mit einem Werkzeugwechsel und einem Pausenbefehl, und beobachten Sie, wie schnell Auszubildende aufhören, nach dem Menü zu greifen.

Geprüft im Oktober 2026.

Häufige Fragen

Kann man Sprachbefehle in einer Meta-Quest-App nutzen?

Ja. Neocortex Voice Commands läuft direkt auf dem Meta-Quest-Headset, sodass Spieler Menüs öffnen, Werkzeuge wechseln und ein Szenario per Stimme steuern können, während ihre Hände am Controller bleiben.

Brauchen VR-Sprachbefehle eine Internetverbindung?

Nein. Neocortex Voice Commands erkennt und ordnet Sprache auf dem Headset zu, offline, und kein Audio verlässt das Gerät. Nur eine KI-Figur, falls Sie eine hinzufügen, nutzt die Neocortex-API.

Können Sprachbefehle eine VR-Trainingssimulation steuern?

Ja. Befehle wie "pause the simulation" oder "show me the valve" kommen als Aktionen und Objekte an, die Ihre Trainings-App ausführt, und eine KI-Ausbilderfigur von Neocortex kann längere Fragen zum Verfahren beantworten.

Wie füge ich einer VR-App einen KI-Ausbilder hinzu?

Erstellen Sie eine Neocortex-KI-Figur mit der Persönlichkeit, Stimme und einer Wissensbasis Ihrer Verfahren des Ausbilders, und senden Sie dann bei jeder Frage Szenarioereignisse mit. Unsere Open-Source-Demo für Meta Quest zeigt ein VR-Projekt, das mit KI-Figuren spricht.

Ähnliche Beiträge

Weiterlesen