Komendy głosowe w VR: sterowanie bez rąk na Meta Quest
Dodaj komendy głosowe w VR z Neocortex: sterowanie offline na goglach Meta Quest do przełączania narzędzi, otwierania menu i uruchamiania szkoleń, plus instruktor AI.
Neocortex TeamThe team behind Neocortex
· 6 min czytania

W VR dłonie gracza są kontrolerem: jedna trzyma klucz, druga latarkę, a sięgnięcie po menu na nadgarstku oznacza puszczenie jednej z nich. Neocortex Voice Commands pozwala graczowi trzymać oba: mówi „wstrzymaj symulację” albo „przełącz na manometr”, a komenda jest rozpoznawana na samych goglach Meta Quest, offline. Dodaj postać instruktora AI, a ten sam głos, który prowadzi scenariusz, może zapytać, dlaczego ciśnienie właśnie wzrosło.
Jak to wygląda
Halvard Station to autorski symulator szkoleniowy VR dla techników konserwacji na fikcyjnej morskiej platformie pompowej. Dzisiejszy scenariusz: przeciekający kołnierz w pompowni drugiej. Szkolony kuca pod rurociągiem, w lewej dłoni trzyma latarkę, w prawej klucz dynamometryczny, a siedzi na śrubie.
Nie puszczając żadnej z nich, mówi:
„Pokaż mi zawór odcinający.”
Wokół kołowego zaworu na przeciwległej ścianie pojawia się miękki kontur. Potem: „Wstrzymaj symulację i przełącz na manometr ciśnienia.” Syk wycieku urywa się w połowie strumienia, a klucz w prawej dłoni staje się ręcznym manometrem. „Wznów.” Wyciek rusza znowu. „Zadzwoń do sterowni”, i operator radiowy odpowiada na kanale szkolonego.
Odczyt jest wyższy, niż szkolony się spodziewał. To nie komenda, tylko pytanie, więc trafia do instruktora, postaci AI o nazwie główna inżynier Odile Varga:
Szkolony: Dlaczego ciśnienie skoczyło, kiedy odkręciłem tę śrubę? Odile: Bo linia jest wciąż pod ciśnieniem. Pominąłeś zawór odpowietrzający. Dokręć z powrotem tę śrubę, odpowietrz linię i spróbuj ponownie.
Odile wie, że szkolony pominął krok, ponieważ scenariusz wysłał to jako zdarzenie. Sama procedura żyje w jej bazie wiedzy, wgranej z instrukcji konserwacji stacji. Jej odpowiedź zawierała też akcję podświetlenia zaworu odpowietrzającego, więc szkolony dokładnie wie, gdzie patrzeć.
Jak Neocortex to realizuje
- Na goglach, offline. Rozpoznawanie mowy i dopasowanie komend działają na Quest. Komendy działają w sali szkoleniowej ze słabym Wi-Fi, a żaden dźwięk nie opuszcza gogli.
- Ręce pozostają przy zadaniu. Menu, zmiany narzędzi, sterowanie scenariuszem i wezwania do współpracowników przechodzą na głos, więc gracz nigdy nie musi odkładać tego, co trzyma.
- Naturalne sformułowania. „Pauza”, „zamroź symulację” i „zatrzymaj symulację” mogą uruchamiać tę samą akcję. Szkoleni mówią to, co przychodzi im naturalnie pod presją, a nie frazę z ulotki.
- Kilka akcji w jednym zdaniu. „Wstrzymaj symulację i przełącz na manometr ciśnienia” trafia jako dwie komendy.
- Kontekst. „Pokaż mi zawór odpowietrzający. Teraz go otwórz.” rozpoznaje „go” jako zawór, który właśnie został podświetlony.
- Naciskanie, by mówić, albo nasłuch ciągły. Chwyt lub przycisk na kontrolerze może działać jako naciśnij, by mówić, gdy jeden palec jest wolny. W szkoleniach, gdzie obie ręce są zawsze zajęte, nasłuch ciągły często lepiej pasuje.
- Zestawy komend z aktorami, akcjami i obiektami, zaprojektowane w panelu Neocortex: współpracownicy i sterownia jako aktorzy; wstrzymaj, pokaż, przełącz i wezwij jako akcje; zawory, narzędzia i pomieszczenia jako obiekty.
- Wiele języków. Jeden zestaw komend na język, aby załogi mogły trenować w języku, w którym pracują.
Odile to postać AI Neocortex zbudowana w wizualnym edytorze węzłów, z osobowością, strumieniowanym głosem i znacznikami emocji przy każdej kwestii. Jej baza wiedzy przyjmuje wgrane pliki PDF lub TXT (5 w Starter, 20 w Pro, 100 w Team). Scenariusz wysyła zdarzenia, takie jak „szkolony otworzył kołnierz przed odpowietrzeniem linii”, a ona zwraca akcje, które zaprojektowałeś, na przykład podświetlenie części, wraz z celem, który Twoja aplikacja ma oświetlić. Własny głos instruktora jest dostępny w Pro (5 własnych głosów) i Team (20).
Pomysły do zbudowania
Drużyna w shooterze VR. Karabin trzymany obiema rękami, gracz woła: „Mara, zadymij dziedziniec. Jensen, weź lewe drzwi.” Każdy członek drużyny jest aktorem, więc rozkazy rozdzielają się czysto, a każdy może być postacią AI, która odpowiada własnym głosem, gdy gracz prosi o raport.
Narzędzie do budowania w VR. W aplikacji kreatywnej ręce rzeźbią i stawiają, a głos obsługuje pasek narzędzi: „przełącz na pędzel”, „zrób dwa razy większe”, „zduplikuj to”, „cofnij”. Nikt nie musi szukać w unoszącej się palecie w połowie pociągnięcia, a praca pozostaje przed oczami.
Pokój zagadek w VR. Gracze trzymają lampę w jednej dłoni i dźwignię w drugiej, rozwiązując pokój: „opuść most”, „obróć lewe lustro”. Połącz to z postacią AI, która podpowiada na prośbę, a pokój może być hojny lub skąpy, zależnie od tego, jak gracz sobie radzi.
Sterowanie scenariuszem dla trenerów. W dłuższym programie szkoleniowym głos pozwala szkolonemu zresetować i zmieniać ćwiczenie bez wychodzenia z gogli: „zacznij od wycieku”, „uruchom jeszcze raz z alarmem”. Scenariusz staje się czymś, co można powtórzyć dziesięć razy w sesji zamiast dwóch.
Budowanie
Neocortex Voice Commands działa na goglach Meta Quest, wewnątrz Twojej aplikacji VR. Postacie AI, takie jak instruktor, łączą się przez API Neocortex, a otwarte demo VR to działający projekt na Quest z postaciami AI, od którego możesz zacząć.
- Znajdź momenty, w których ręce są zajęte. Przejdź przez swoje doświadczenie i zaznacz każdą zmianę narzędzia, menu, pauzę i wezwanie pomocy. To staną się Twoje komendy.
- Zaprojektuj zestaw komend w panelu Neocortex: współpracowników i stanowiska jako aktorów, Twoje czasowniki jako akcje, a sprzęt i miejsca w scenie jako obiekty, z kilkoma przykładowymi frazami dla każdego.
- Dodaj Neocortex Voice Commands do swojej kompilacji na Quest i połącz każdą dopasowaną komendę z kontrolerem scenariusza i systemem narzędzi.
- Wybierz tryb nasłuchu pasujący do rąk: nasłuch ciągły w ćwiczeniach, gdzie obie ręce są zajęte, naciskanie, by mówić, na przycisku chwytu w grach z dużą ilością rozmów.
- Dodaj instruktora AI: postać Neocortex z osobowością, głosem, bazą wiedzy o Twoich procedurach i akcjami podświetlania sprzętu. Wysyłaj zdarzenia scenariusza z każdym pytaniem, aby odpowiedzi odpowiadały temu, co szkolony faktycznie zrobił.
- Dodaj zestaw komend dla każdego języka, jakim mówią Twoi szkoleni lub gracze.
Każda komenda powinna dostać krótkie potwierdzenie w goglach, na przykład cichy dźwięk albo krótką etykietę przy nadgarstku. Bez krawędzi ekranu, na którą można zerknąć, gracze muszą wiedzieć, że zostali usłyszani. Zachowaj też menu na nadgarstku w zasięgu ręki, dla tych, którzy wolą sięgnąć, niż mówić.
Voice Commands to licencjonowany SDK: skontaktuj się z nami, aby uzyskać licencję Voice Commands. Instruktor i pozostałe postacie AI wraz z API stoją za nimi i są częścią każdego planu.
Sterowanie bez rąk w VR to jeden z przykładów w naszym zestawieniu przypadków użycia AI NPC, ambient AI i komend głosowych. Więcej o goglach znajdziesz we wpisach szkolenia z umiejętności miękkich w VR z AI i postacie AI do escape roomów VR, a stronę doświadczeń VR warto zobaczyć. Zacznij od jednej zmiany narzędzia i jednej komendy pauzy i obserwuj, jak szybko szkoleni przestają sięgać po menu.
Sprawdzono w październiku 2026.
Najczęstsze pytania
Czy można używać komend głosowych w aplikacji na Meta Quest?
Tak. Neocortex Voice Commands działa na samych goglach Meta Quest, więc gracze mogą otwierać menu, przełączać narzędzia i sterować scenariuszem głosem, a ręce pozostają na kontrolerach.
Czy komendy głosowe w VR wymagają połączenia z internetem?
Nie. Neocortex Voice Commands rozpoznaje mowę i dopasowuje ją na goglach, offline, a żaden dźwięk nie opuszcza urządzenia. Tylko postać AI, jeśli ją dodasz, korzysta z API Neocortex.
Czy komendy głosowe mogą sterować symulacją szkoleniową w VR?
Tak. Komendy typu „wstrzymaj symulację” czy „pokaż mi zawór” trafiają jako akcje i obiekty, które uruchamia Twoja aplikacja szkoleniowa, a postać instruktora AI Neocortex może odpowiadać na dłuższe pytania o procedurę.
Jak dodać instruktora AI do aplikacji VR?
Utwórz postać AI Neocortex z osobowością instruktora, głosem i bazą wiedzy o Twoich procedurach, a potem wysyłaj zdarzenia scenariusza wraz z każdym pytaniem. Nasze otwarte demo dla Meta Quest pokazuje projekt VR rozmawiający z postaciami AI.






