Голосовые команды в VR: управление без рук на Meta Quest
Добавьте голосовые команды в VR с Neocortex: офлайн-управление на гарнитуре Meta Quest для переключения инструментов, открытия меню и запуска тренировок, плюс ИИ-инструктор.
Neocortex TeamThe team behind Neocortex
· 6 мин чтения

В VR руки игрока и есть контроллер: одна держит гаечный ключ, другая фонарик, и чтобы дотянуться до меню на запястье, нужно выпустить одну из них. Голосовые команды Neocortex позволяют игроку не выпускать ни одну: он говорит «поставь симуляцию на паузу» или «переключись на манометр», и команда распознается прямо на гарнитуре Meta Quest, офлайн. Добавьте ИИ-персонажа-инструктора, и тот же голос, который ведет сценарий, сможет ответить, почему давление только что подскочило.
Как это выглядит
Halvard Station - оригинальный VR-тренажер для техников по обслуживанию на вымышленной морской насосной платформе. Сегодняшний сценарий: протечка фланца в насосном отсеке номер два. Стажер сидит на болте, пригнувшись под трубопроводом, с фонариком в левой руке и динамометрическим ключом в правой.
Не выпуская ни одного из них, он говорит:
«Покажи мне запорный клапан».
Вокруг штурвального клапана на дальней стене появляется мягкий контур. Затем: «Поставь симуляцию на паузу и переключись на манометр давления». Шипение утечки замирает на середине струи, а ключ в правой руке превращается в ручной манометр. «Продолжить». Утечка снова начинается. «Вызови диспетчерскую», и оператор рации отвечает на канале стажера.
Показание выше, чем ожидал стажер. Это не команда, а вопрос, поэтому он уходит инструктору, ИИ-персонажу по имени главный инженер Одиль Варга:
Стажер: Почему давление подскочило, когда я раскрутил тот болт? Одиль: Потому что линия еще под давлением. Ты пропустил дренажный клапан. Затяни болт обратно, страви давление из линии и попробуй снова.
Одиль знает, что стажер пропустил шаг, потому что сценарий отправил ей это как событие. Сама процедура хранится в ее базе знаний, загруженной из руководства по обслуживанию станции. Ее ответ также содержал действие подсветки дренажного клапана, поэтому стажер точно знает, куда смотреть.
Как Neocortex это реализует
- На гарнитуре, офлайн. Распознавание речи и сопоставление команд работают на Quest. Команды продолжают работать в учебной комнате с нестабильным Wi-Fi, и никакое аудио не покидает гарнитуру.
- Руки остаются на задаче. Меню, смена инструментов, управление сценарием и вызовы коллег переходят на голос, поэтому игроку не приходится откладывать то, что он держит.
- Естественные формулировки. «Пауза», «заморозь симуляцию» и «останови симуляцию» могут запускать одно и то же действие. Стажеры говорят то, что приходит на ум под давлением, а не фразу из памятки.
- Несколько действий в одном предложении. «Поставь симуляцию на паузу и переключись на манометр давления» поступает как две команды.
- Контекст. «Покажи мне дренажный клапан. Теперь открой его». Слово «его» привязывается к клапану, который только что подсвечен.
- Нажатие для разговора или постоянное прослушивание. Кнопка захвата или кнопка на лицевой панели может работать как push-to-talk, если один палец свободен. В тренировках, где обе руки всегда заняты, чаще подходит постоянное прослушивание.
- Наборы команд из акторов, действий и объектов, которые создаются в панели Neocortex: коллеги и диспетчерская как акторы; пауза, показ, переключение и вызов как действия; клапаны, инструменты и помещения как объекты.
- Несколько языков. Один набор команд на каждый язык, чтобы экипажи могли тренироваться на языке, на котором работают.
Одиль - ИИ-персонаж Neocortex, созданный в визуальном редакторе узлов, с личностью, потоковым голосом и эмоциональными метками в каждой реплике. Ее база знаний принимает загрузку PDF или TXT (5 файлов на Starter, 20 на Pro, 100 на Team). Ваш сценарий отправляет события вроде «стажер открыл фланец до стравливания давления», а она возвращает действия, которые вы задали, например подсветку детали, с целью, которую должно подсветить ваше приложение. Собственный голос инструктора доступен на Pro (5 голосов) и Team (20).
Идеи для разработки
Отряд в VR-шутере. Винтовка поднята обеими руками, игрок кричит: «Мара, дымовая завеса во дворе. Йенсен, займи левую дверь». Каждый напарник - отдельный актор, поэтому приказы разделяются четко, а каждый может быть ИИ-персонажем, который отвечает собственным голосом, когда игрок запрашивает статус.
VR-инструмент для строительства. В творческом приложении руки лепят и размещают объекты, а голос управляет панелью инструментов: «переключись на кисть», «сделай в два раза больше», «продублируй это», «отмени». Никому не нужно искать плавающую палитру посреди мазка, и работа остается перед глазами.
VR-комната с головоломками. Игроки держат фонарь в одной руке и рычаг в другой, пока разбираются с комнатой: «опусти мост», «поверни левое зеркало». Добавьте ИИ-персонажа, который дает подсказки по просьбе, и комната может быть щедрой или скупой в зависимости от того, как идут дела у игрока.
Управление сценарием для тренеров. В длинной учебной программе голос позволяет стажеру перезапустить и изменить учение, не снимая гарнитуру: «начать заново с утечки», «запусти еще раз с включенной сигнализацией». Сценарий становится тем, что можно повторить десять раз за сессию, а не два.
Как это построить
Голосовые команды Neocortex работают на гарнитуре Meta Quest внутри вашего VR-приложения. ИИ-персонажи, такие как инструктор, подключаются через API Neocortex, а наша открытая VR-демка - это рабочий проект для Quest с ИИ-персонажами, с которого можно начать.
- Найдите моменты, когда руки заняты. Пройдите свой сценарий и отметьте каждую смену инструмента, меню, паузу и вызов помощи. Это станет вашими командами.
- Создайте набор команд в панели Neocortex: коллеги и станции как акторы, ваши глаголы как действия, оборудование и места сцены как объекты, с несколькими примерами фраз для каждого.
- Добавьте голосовые команды Neocortex в сборку для Quest и подключите каждую распознанную команду к контроллеру сценария и системе инструментов.
- Выберите режим прослушивания под руки: постоянное прослушивание для тренировок, где обе руки заняты, push-to-talk на кнопке захвата для игр с большим количеством разговоров.
- Добавьте ИИ-инструктора: персонажа Neocortex с личностью, голосом, базой знаний ваших процедур и действиями для подсветки оборудования. Отправляйте события сценария с каждым вопросом, чтобы ответы соответствовали тому, что стажер на самом деле сделал.
- Добавьте набор команд для каждого языка, на котором говорят ваши стажеры или игроки.
Дайте каждой команде небольшое подтверждение в гарнитуре, например мягкий сигнал или короткую подпись рядом с запястьем. Без края экрана, на который можно посмотреть, игрокам нужно знать, что их услышали. Оставьте меню на запястье доступным и руками тоже - для тех, кто предпочитает дотянуться, а не сказать.
Голосовые команды - лицензируемый SDK: свяжитесь с нами для лицензии на голосовые команды. Инструктор и другие ИИ-персонажи вместе с API, который за ними стоит, входят в каждый тариф.
VR без рук - один из примеров в нашей статье сценарии использования ИИ-NPC, фонового ИИ и голосовых команд. Больше о гарнитурах - в статьях обучение мягким навыкам в VR с ИИ и ИИ-персонажи для VR-квестов, а также на странице VR-проекты. Начните с одной смены инструмента и одной команды паузы и посмотрите, как быстро стажеры перестанут тянуться к меню.
Проверено в октябре 2026 года.
Частые вопросы
Можно ли использовать голосовые команды в приложении для Meta Quest?
Да. Голосовые команды Neocortex работают прямо на гарнитуре Meta Quest, поэтому игроки могут открывать меню, переключать инструменты и управлять сценарием голосом, не отпуская контроллеры.
Нужно ли интернет-соединение для голосовых команд в VR?
Нет. Голосовые команды Neocortex распознают речь и сопоставляют ее на гарнитуре, офлайн, и аудио не покидает устройство. Только ИИ-персонаж, если вы его добавите, использует API Neocortex.
Могут ли голосовые команды управлять VR-симуляцией обучения?
Да. Команды вроде «поставь симуляцию на паузу» или «покажи мне клапан» поступают как действия и объекты, которые запускает ваше учебное приложение, а ИИ-инструктор Neocortex может отвечать на более длинные вопросы о процедуре.
Как добавить ИИ-инструктора в VR-приложение?
Создайте ИИ-персонажа Neocortex с личностью инструктора, голосом и базой знаний ваших процедур, затем отправляйте события сценария вместе с каждым вопросом. Наша открытая демка для Meta Quest показывает VR-проект, который разговаривает с ИИ-персонажами.






