Neocortex Logo

Голосовое управление для доступности игр: меньше нажатий

Голосовое управление для доступности игр с Neocortex: офлайн-команды на устройстве для меню, инвентаря и камеры простыми словами, которые не нужно запоминать.

Neocortex TeamThe team behind Neocortex

· 6 мин чтения

Голосовое управление для доступности игр с Neocortex: офлайн-команды на устройстве для меню, инвентаря и камеры простыми словами, которые не нужно запоминать.

Для игрока с ограниченной подвижностью рук, RSI (синдромом повторяющихся движений) или только одной рабочей рукой самое трудное в игре часто не босс, а меню, сетка инвентаря и камера, которые построены на быстрых и точных нажатиях. Голосовые команды Neocortex дают таким игрокам другой вход: они сопоставляют простые произнесённые фразы с действиями вашей игры на их собственном ПК, офлайн и без того, чтобы аудио покидало устройство. Это один из вариантов наряду с переназначением клавиш, переключателями и настраиваемым таймингом, и работает он лучше, когда вы относитесь к нему как к полноценному способу ввода, а не как к новинке.

Как это выглядит

Lanternfall - оригинальное пошаговое приключение в прибрежном рыбацком городке Gullmouth на скалах. Представьте игрока с RSI в обоих запястьях, который играет трекболом короткими сессиями. Передвигать персонажа ему нормально. Больно даются долгие переходы по вложенным меню.

Когда голосовое управление включено в настройках доступности, ход звучит так:

«Откройте инвентарь. Экипируйте штормовой фонарь. Используйте тоник на Bram.»

Три команды, и ни одного похода по сетке предметов. Bram, спутник игрока, снова на ногах. Дальше: «Поверните камеру налево и приблизьте». Вид разворачивается к ступеням гавани. «Возьмите латунный ключ. Теперь используйте его на сундуке.» Слово «его» относится к только что подобранному ключу. Затем «завершить ход», и прилив приходит.

Позже, не уверенный, что осталось рядом после горячего боя, игрок спрашивает Pell, старого смотрителя маяка, который выступает проводником по городу. Pell - ИИ-персонаж:

Игрок: Pell, что сейчас на экране? Pell: Вы на ступенях гавани. Слева от вас запертый сундук, прямо впереди ворота, а Bram с половиной здоровья прямо позади вас. Две чайки. Ничего враждебного.

Pell может так ответить, потому что игра отправляет видимые объекты и персонажей вместе с вопросом. В этом ходе ничто не заменило трекбол: игрок по-прежнему двигается рукой, когда так проще, и говорит, когда проще говорить.

Как Neocortex делает это возможным

  • Естественные формулировки, без списка команд. «Открой мою сумку», «покажи инвентарь» и «инвентарь» могут запускать одно и то же действие. Игроки говорят то, что имеют в виду, вместо того чтобы сначала изучать шпаргалку, что помогает всем, кто быстро устаёт или играет короткими сессиями.
  • Несколько действий в одной фразе. «Открой инвентарь и экипируй фонарь» приходит как две команды, поэтому игрок говорит один раз, а не повторяет речевую команду на каждом шаге.
  • Количество. «Брось три рыбы» или «купи две верёвки» заменяют щелчки по ползунку количества.
  • Контекст. «Возьми латунный ключ. Теперь используй его на сундуке.» - «его» относится к ключу.
  • Push to talk или постоянное прослушивание. Постоянное прослушивание подходит игрокам, которым неудобно долго удерживать клавишу. Push to talk может работать на любом одном вводе, которым игрок уже хорошо пользуется, потому что привязку вы выносите в настройки сами.
  • На устройстве, офлайн и приватно. Распознавание и сопоставление работают на ПК игрока. Аудио не покидает устройство, ничто не зависит от подключения, и между речью и действием нет задержки сервера.
  • Наборы команд из субъектов, действий и объектов, которые вы создаёте в панели Neocortex с несколькими примерами фраз для каждого: названия меню, предметов, движения камеры и частые действия.
  • Несколько языков. Один набор команд на каждый язык, чтобы игроки могли говорить на том языке, которым им удобнее всего пользоваться.

Pell - ИИ-персонаж Neocortex. Ваша игра отправляет видимое как метаданные (каждая сущность с ID, именем, позицией и свойствами, такими как здоровье), а он отвечает своим потоковым голосом. Он описывает только то, что отправляет игра, поэтому описание настолько хорошее, насколько хороши эти данные. Держите их точными, и он станет надёжными глазами; упустите что-то, и он об этом не узнает.

Идеи для реализации

Меню голосом. «Открой настройки», «включи субтитры», «сделай текст крупнее», «загрузи последнее сохранение». С меню многие игроки застревают первыми, и с них проще всего начать: у каждого пункта уже есть название, которое ваш набор команд может использовать повторно.

Управление инвентарём. «Продай всю рыбу», «переложи зелья наверх», «брось две верёвки». Сетчатые инвентари требуют одного из самых точных наведений в игре, а голос превращает минуту перетаскивания в одну фразу.

Пошаговая игра, полностью управляемая голосом. В тактике или карточной игре ничто не ограничено по времени, поэтому голос может покрыть каждое действие: «передвинь рыцаря к мосту», «сыграй карту мороза на левой линии», «завершить ход». Постройте набор команд так, чтобы у каждого действия на экране был голосовой эквивалент, и всю игру можно пройти без геймпада.

Проводник, который описывает экран по запросу. Продвиньте Pell дальше: по запросу персонаж-проводник зачитывает текущую цель, пересказывает, что есть в комнате, или объясняет значение иконки статуса, используя базу знаний из справки вашей игры (5 загрузок на Starter, до 100 на Team). Только по запросу, чтобы проводник никогда не говорил поверх игры тем, кому это не нужно.

Как это построить

Neocortex Voice Commands работает внутри PC-игр на машине игрока. Самый чистый способ построить это - считать голос ещё одним устройством ввода: каждая распознанная команда запускает то же действие ввода, что и кнопка, поэтому меню, инвентарь и камера ведут себя одинаково, как бы игрок до них ни добрался.

  1. Найдите трудные места. Сыграйте сессию и отметьте каждое действие, которое требует точного тайминга, быстрых нажатий или долгих переходов по меню. Это будут ваши первые команды.
  2. Спроектируйте набор команд в панели Neocortex, который отражает то, что на экране: названия меню и предметов как объекты, глаголы вроде «открыть», «экипировать», «использовать» и «бросить» как действия, а также формулировки, которые игроки реально используют.
  3. Добавьте Neocortex Voice Commands в игру и направляйте каждую распознанную команду в существующие действия ввода, а не создавайте отдельный путь только для голоса.
  4. Вынесите настройки. Предложите оба режима прослушивания в настройках доступности, позвольте игрокам привязать push to talk к любому вводу и запрашивайте подтверждение перед любым необратимым действием, например перезаписью сохранения.
  5. Добавьте проводника-описателя, если он подходит вашей игре: ИИ-персонаж Neocortex получает видимые сущности как метаданные и отвечает на «что на экране?» своим голосом через Web API или SDK движка.
  6. Тестируйте с игроками, которые будут на это полагаться, и добавляйте набор команд для каждого языка, на котором говорят ваши игроки.

Держите каждое голосовое действие доступным и другими способами и сохраняйте переназначение клавиш. Голос помогает многим игрокам, но не каждый может или хочет говорить, чтобы играть: у кого-то есть особенности речи, кто-то делит комнату, а кто-то просто предпочитает геймпад. Лучшие меню доступности предлагают набор вариантов, и голос - хорошее дополнение к этому набору, а не замена ему.

Voice Commands - лицензируемый SDK: свяжитесь с нами по лицензии Voice Commands. Проводник вроде Pell работает на ИИ-персонажах и API, которые есть в каждом тарифе.

Голосовое управление с доступностью - один из пунктов в нашем обзоре сценариев ИИ-NPC, фонового ИИ и голосовых команд. Для игры с занятыми руками в гарнитуре читайте голосовые команды в VR, а для персонажа, который ведёт рассказ об игре, см. ИИ-мастера игры и рассказчика. На странице управление играми голосом есть обзор, а пост о поддержке языков рассказывает о языках. Начните с одного меню, сделайте его полностью управляемым голосом и спросите игрока, которому это нужно, что покрыть дальше.

Проверено в октябре 2026 года.

Частые вопросы

Может ли голосовое управление сделать игру доступнее?

Для многих игроков - да. Голосовое управление позволяет игрокам с ограниченной подвижностью, RSI или при управлении одной рукой открывать меню, инвентарь и частые действия без быстрых или точных нажатий кнопок. Neocortex Voice Commands добавляет его на ПК игрока как один из вариантов наряду с переназначением клавиш и другими настройками.

Нужно ли игрокам запоминать голосовые команды?

Нет. Neocortex Voice Commands понимает естественные формулировки, поэтому "открой мою сумку", "покажи инвентарь" и "инвентарь" могут запускать одно и то же действие. В панели Neocortex вы добавляете несколько примеров фраз на каждую команду.

Приватно ли голосовое управление в игре?

С Neocortex Voice Commands речь распознаётся и сопоставляется на машине игрока, и аудио не покидает устройство. Оно работает офлайн, без облачного обмена.

Может ли ИИ-персонаж описывать то, что на экране?

Да, если игра ему это передаст. Отправьте видимые объекты и персонажей как метаданные ИИ-персонажу Neocortex, и когда игрок спросит, он опишет их своим голосом. Он знает только то, что отправляет игра.

Похожие статьи

Читайте также