Neocortex Logo

VR 语音指令:在 Meta Quest 上免手操控

用 Neocortex 为 VR 添加语音指令:在 Meta Quest 头显上离线切换工具、打开菜单、运行培训,并配有 AI 讲师角色。

Neocortex TeamThe team behind Neocortex

· 阅读约 6 分钟

用 Neocortex 为 VR 添加语音指令:在 Meta Quest 头显上离线切换工具、打开菜单、运行培训,并配有 AI 讲师角色。

在 VR 中,玩家的双手就是控制器:一只手拿扳手,另一只手拿手电筒,想打开手腕菜单就得松开其中一只。Neocortex Voice Commands 让玩家双手始终握着东西:他们说“暂停模拟”或“切换到压力表”,指令会直接在 Meta Quest 头显上离线识别。再加上一个 AI 讲师角色,同一段语音既能驱动情景演练,也能回答“为什么刚才压力突然升高?”这样的问题。

实际效果

Halvard Station 是一款原创的 VR 培训模拟,面向虚构的海上泵站上的维修技师。今天的情景是:第二泵室的一个法兰漏液。受训者蹲在一段管道下方,左手握着手电筒,右手握着扭矩扳手,坐在一颗螺栓上。

两只手都不松开,他们说:

“Show me the isolation valve.”(给我看隔离阀。)

远处墙上的一个轮式阀门周围出现了一圈柔和的轮廓线。接着:“Pause the simulation and switch to the pressure gauge.”(暂停模拟,切换到压力表。)泄漏的嘶嘶声在喷射中途停止,右手的扳手变成了手持压力表。“Resume.”(继续。)漏液又开始了。“Call the control room”(呼叫控制室),于是受训者频道里响起一名无线电操作员的应答。

读数比受训者预想的要高。这不是指令,而是一个问题,所以它被交给讲师,也就是一个名叫 Odile Varga 的总工程师 AI 角色:

受训者: 我松开那颗螺栓的时候,压力为什么突然升高了? Odile: 因为管线还带压。你跳过了泄放阀。先把螺栓拧紧,泄放管线,然后再试一次。

Odile 知道受训者跳过了一个步骤,是因为情景把它作为事件发送了过来。操作规程本身保存在她的知识库中,是从站点的维护手册上传的。她的回复还附带了一个针对泄放阀的高亮动作,因此受训者确切知道该看哪里。

Neocortex 如何实现这一功能

  • 在头显上离线运行。 语音识别和指令匹配都在 Quest 上运行。即使培训室的 Wi-Fi 信号不稳定,指令仍然有效,而且没有任何音频会离开头显。
  • 双手始终专注于任务。 菜单、工具切换、情景控制和呼叫队友都改为语音操作,玩家无需放下手里的东西。
  • 自然的说法。 “Pause”、“freeze the sim”和“stop the simulation”都可以触发同一个动作。受训者在压力下会说出自然的话,而不是讲义上的固定短语。
  • 一句话中包含多个动作。 “Pause the simulation and switch to the pressure gauge”会作为两条指令被接收。
  • 上下文理解。 “Show me the bleed valve. Now open it.”会把“it”解析为刚刚高亮的那个阀门。
  • 按键说话或持续监听。 当一只手空出时,握把或面部按键可以作为按键说话。在双手始终忙碌的培训中,持续监听通常更合适。
  • 由角色、动作和物体组成的指令集, 在 Neocortex 控制台中设计:队友和控制室作为角色;暂停、显示、切换和呼叫作为动作;阀门、工具和房间作为物体。
  • 多语言。 每种语言一套指令集,让团队能用他们工作的语言进行培训。

Odile 是在可视化节点编辑器中构建的 Neocortex AI 角色,具有个性、流式语音,以及每句台词的情绪标签。她的知识库接受 PDF 或 TXT 上传(Starter 为 5 个,Pro 为 20 个,Team 为 100 个)。你的情景会随每个问题发送“受训者在放松管线之前打开了法兰”之类的事件,她则返回你设定的动作,例如高亮某个部件,并附上你的应用应当点亮的目标。自定义讲师声音在 Pro(5 个自定义声音)和 Team(20 个)套餐中提供。

可以尝试的创意

VR 射击小队。 双手端着步枪,玩家喊出“Mara,清理庭院。Jensen,拿下左边的门。”每个队友都是一个角色,因此指令清晰地分开;当玩家要求汇报状态时,每个队友都可以是一个用自己声音回答的 AI 角色。

VR 建造工具。 在创作类应用中,双手负责雕刻和摆放,语音负责工具栏:“switch to the brush”、“make it twice as big”、“duplicate that”、“undo”。玩家在下笔途中无需翻找悬浮调色板,工作也始终在眼前。

VR 解谜房间。 玩家一只手拿着灯笼,另一只手握着拉杆,边解谜边说:“lower the bridge”、“rotate the left mirror”。再配上一个会在被问到时给出提示的 AI 角色,房间的难度可以根据玩家的表现变得宽松或严苛。

培训师的情景控制。 在较长的培训课程中,语音让受训者无需离开头显就能重置和变换演练:“restart from the leak”、“run it again with the alarm on”。这样,同一个情景一次训练中可以重复十次,而不是两次。

构建方法

Neocortex Voice Commands 运行在 Meta Quest 头显上,嵌入你的 VR 应用中。讲师等 AI 角色通过 Neocortex API 连接,我们的开源 VR 演示是一个可运行的 Quest 项目,包含 AI 角色,可以作为起点。

  1. 找出双手被占用的时刻。 完整体验你的应用,标出每一次工具切换、菜单、暂停和求助。这些就是你的指令。
  2. 在 Neocortex 控制台中设计指令集: 把队友和站点作为角色,把你的动词作为动作,把场景中的设备和地点作为物体,并为每项提供几个示例说法。
  3. 把 Neocortex Voice Commands 添加到你的 Quest 构建中, 并把每个匹配到的指令连接到情景控制器和工具系统。
  4. 选择适合双手状态的监听模式: 双手始终忙碌的演练选持续监听;聊天较多的游戏选在握把按钮上按键说话。
  5. 添加 AI 讲师: 一个 Neocortex 角色,具有个性、声音、你的操作规程知识库,以及用于高亮设备的动作。每个问题都随情景事件一起发送,以便回答与受训者的实际操作相符。
  6. 为受训者或玩家所使用的每种语言添加一套指令集。

在头显中,每条指令都应有一个简短的确认提示,例如轻柔的提示音或手腕附近的短标签。没有屏幕边缘可以瞥一眼,玩家需要知道指令已被听到。对于更喜欢伸手操作的人,手腕菜单也应可以用手触及。

Voice Commands 是一款授权 SDK:联系我们获取 Voice Commands 许可证。讲师和其他 AI 角色,以及背后的 API,都包含在每个套餐中。

免提 VR 只是我们的 AI NPC、环境 AI 和语音指令用例中的一项。关于头显的更多内容,请阅读用 AI 进行 VR 软技能培训和VR 密室逃脱的 AI 角色,并参阅 VR 体验页面。先从一个工具切换指令和一个暂停指令开始,看看受训者多快就不再去伸手按菜单。

2026 年 10 月核对。

常见问题

Meta Quest 应用可以使用语音指令吗?

可以。Neocortex Voice Commands 直接运行在 Meta Quest 头显上,因此玩家可以在双手握着控制器的同时,通过语音打开菜单、切换工具并控制情景。

VR 语音指令需要联网吗?

不需要。Neocortex Voice Commands 在头显上离线识别和匹配语音,且没有任何音频离开设备。只有你添加的 AI 角色才会使用 Neocortex API。

语音指令能控制 VR 培训模拟吗?

可以。“pause the simulation”或“show me the valve”之类的指令会作为动作和物体传递给你的培训应用,而 Neocortex AI 讲师角色可以回答关于操作规程的较长问题。

如何为 VR 应用添加 AI 讲师?

创建一个 Neocortex AI 角色,赋予讲师的个性、声音和操作规程知识库,然后在每个问题中发送情景事件。我们的开源 Meta Quest 演示展示了一个 VR 项目与 AI 角色对话的过程。

相关文章

继续阅读