Neocortex Logo

游戏无障碍语音控制:少按键,多游戏

用 Neocortex 为游戏添加无障碍语音控制:离线、设备端命令,用于菜单、物品栏和视角,使用日常语言,无需记忆任何命令。

Neocortex TeamThe team behind Neocortex

· 阅读约 6 分钟

用 Neocortex 为游戏添加无障碍语音控制:离线、设备端命令,用于菜单、物品栏和视角,使用日常语言,无需记忆任何命令。

对于手部活动受限、患有重复性劳损(RSI)或只能用一只手的玩家来说,游戏中最难的往往不是boss,而是菜单、物品格子和视角,这些都依赖快速而精确的按键操作。Neocortex 语音命令为这些玩家提供了另一种进入游戏的方式:在他们自己的电脑上,将日常口语短语匹配到游戏动作,完全离线,音频不会离开设备。它只是多种选择之一,与键位重映射、开关选项和可调节的时间设置并存。当你把它当作完整的输入方式,而不是噱头时,效果最好。

它是什么样的

Lanternfall 是一款原创的回合制冒险游戏,故事发生在名为 Gullmouth 的悬崖渔镇。设想一位双手腕都患有 RSI 的玩家,他用轨迹球进行短时间游戏。移动角色没有问题,真正让他疲惫的是穿过层层嵌套菜单的漫长路程。

在无障碍设置中开启语音控制后,一个回合的过程是这样的:

“打开物品栏。装备风暴提灯。对 Bram 使用一瓶补剂。”

三条命令,无需在物品格子中来回操作。Bram 是玩家的同伴,他重新站了起来。接下来:“把视角向左旋转并放大。”镜头转向海港台阶。“拿起黄铜钥匙。现在把它用在宝箱上。”其中的“它”指的正是刚刚拾起的钥匙。然后说“结束回合”,潮水便涌了上来。

在一场激烈的战斗后,玩家不确定周围还剩下什么,于是询问 Pell,他是一位老灯塔看守人,也是镇上的向导。Pell 是一个 AI 角色:

玩家: Pell,现在屏幕上有什么? Pell: 你站在海港台阶上。左边有一个上锁的宝箱,正前方是大门,Bram 的血量只剩一半,就在你身后。两只海鸥。没有敌人。

Pell 能这样回答,是因为游戏会把可见的物体和角色随问题一起发送给它。在这个回合中,没有任何东西取代轨迹球:玩家在手动更方便时仍然可以手动移动,在说话更方便时则可以开口说话。

Neocortex 如何实现这一功能

  • 自然的说法,无需命令列表。 “打开我的包”、“显示物品栏”和“物品栏”都可以触发同一个动作。玩家说出自己的意图,而不必先研究速查表,这对于容易疲劳或只玩短时间的玩家尤其有帮助。
  • 一句话多个动作。 “打开物品栏并装备提灯”会被识别为两条命令,玩家只需说一次,而不必为每一步重复说“操作”。
  • 数量。 “丢弃三条鱼”或“购买两根绳子”可以省去数量滑块的反复点击。
  • 上下文。 “拿起黄铜钥匙。现在把它用在宝箱上。”会把“它”识别为钥匙。
  • 按住说话或始终监听。 始终监听适合无法轻松按住按键的玩家。按住说话可以绑定到玩家已经能熟练使用的任何单一输入,因为绑定方式可以由你在设置中开放。
  • 设备端、离线、私密。 识别和匹配都在玩家的电脑上完成。音频不会离开设备,不依赖网络连接,说话与执行之间也没有服务器延迟。
  • 由角色、动作和对象组成的命令集,在 Neocortex 仪表盘中设计,每个条目附带几个示例短语:菜单名称、物品名称、视角移动和常用动作。
  • 多种语言。 每种语言对应一套命令集,让玩家可以使用自己最习惯说的语言。

Pell 是一个 Neocortex AI 角色。你的游戏会把可见内容以元数据的形式发送给它(每个实体包含 ID、名称、位置以及生命值等属性),然后他会以自己的流式语音回答。他只会描述你的游戏发送给他的内容,因此他描述得有多好,取决于这些数据的质量。保持数据准确,他就是可靠的眼睛;遗漏的东西,他也就不知道。

可以构建的想法

用语音操作菜单。 “打开设置”、“开启字幕”、“把文字调大”、“读取我上一次的存档”。菜单通常是许多玩家最先卡住的地方,也是最容易入手的地方,因为每个选项都已经有名称,你的命令集可以直接复用。

物品管理。 “卖掉所有鱼”、“把药水移到最上面”、“丢弃两根绳子”。格子式物品栏需要游戏中一些最精确的指向操作,语音可以把一分钟的拖拽变成一句话。

完全可以用语音玩的回合制游戏。 在策略或卡牌游戏中,没有时间限制,因此语音可以覆盖每一个动作:“把骑士移到桥上”、“在左路打出霜冻卡”、“结束回合”。构建命令集时,确保屏幕上的每个动作都有对应的语音说法,这样整局游戏都可以不用手柄完成。

按需描述画面的向导。 让 Pell 承担更多职责:应玩家要求,向导角色可以朗读当前目标、总结房间里有什么,或解释某个状态图标的含义,所用的知识库来自你游戏的帮助文本(Starter 方案可上传 5 份,Team 方案最多可上传 100 份)。只在被要求时才发声,因此不需要它的玩家不会被它打断。

构建步骤

Neocortex 语音命令运行在玩家电脑上的 PC 游戏中。最简洁的构建方式是把语音当作另一种输入设备:每个匹配的命令都会触发与按钮相同的输入动作,这样无论玩家通过什么方式操作,菜单、物品栏和视角的表现都保持一致。

  1. 找出困难的部分。 玩一局游戏,记录下所有需要精确时机、快速按键或长距离菜单操作的动作。这些就是你的第一批命令。
  2. 在 Neocortex 仪表盘中设计命令集,使其与屏幕内容一致:将菜单和物品名称设为对象,将打开、装备、使用和丢弃等动词设为动作,并加入玩家实际使用的说法。
  3. 将 Neocortex 语音命令添加到游戏中,并把每个匹配的命令接入现有的输入动作,而不是另建一条仅用于语音的路径。
  4. 开放选项。 在无障碍设置中同时提供两种监听模式,允许玩家将按住说话绑定到任何输入,并在执行任何破坏性操作(例如覆盖存档)之前要求确认。
  5. 如果符合游戏需求,添加一个描述画面的向导。 这是一个 Neocortex AI 角色,它以元数据形式接收可见实体,并以自己的声音回答“屏幕上有什么?”,通过 Web API 或引擎 SDK 实现。
  6. 与将会依赖它的玩家一起测试,并为玩家使用的每种语言添加一套命令集。

请确保每个语音操作都可以通过其他方式完成,并保留键位重映射功能。语音对许多玩家有帮助,但并非每个人都能或愿意用说话来玩游戏:有些人有言语障碍,有些人与他人共处一室,还有些人只是更喜欢手柄。最好的无障碍菜单会提供一整套选项,语音是其中值得添加的一项,而不是替代品。

语音命令是一款授权 SDK:联系我们获取语音命令授权。像 Pell 这样的向导角色运行在 AI 角色和 API 之上,每个方案都包含这些功能。

无障碍语音控制是我们 AI NPC、环境 AI 和语音命令用例 中的一个条目。如需了解头显中双手忙碌时的游戏方式,请阅读 VR 中的语音命令;如需了解为游戏担任旁白的角色,请参阅 AI 游戏主持人与旁白。语音控制游戏 页面提供了总体概览,我们的语言支持 文章介绍了语言方面的内容。先从一个菜单开始,让它可以完全通过语音操作,然后询问需要它的玩家接下来应该覆盖哪些内容。

2026 年 10 月核对。

常见问题

语音控制能让游戏更具无障碍性吗?

对许多玩家来说可以。语音控制让活动受限、患有 RSI 或只能单手操作的玩家,无需快速或精确的按键,也能使用菜单、物品栏和常用动作。Neocortex 语音命令在玩家的电脑上运行,与键位重映射等其他设置并列,是可选项之一。

玩家需要记住语音命令吗?

不需要。Neocortex 语音命令能理解自然的说法,因此“打开我的包”、“显示物品栏”和“物品栏”都可以触发同一个动作。你可以在 Neocortex 仪表盘中为每个命令添加几个示例短语。

游戏内语音控制是否私密?

使用 Neocortex 语音命令时,语音在玩家的电脑上完成识别和匹配,音频不会离开设备。它可以离线工作,无需云端往返。

AI 角色能描述屏幕上的内容吗?

可以,前提是你的游戏告诉它。将可见的物体和角色作为元数据发送给 Neocortex AI 角色,当玩家提问时,它会用自己的声音进行描述。它只知道你的游戏发送给它的内容。

相关文章

继续阅读