Neocortex Logo

AI驱动的VR软技能培训:会反驳的角色扮演

用Neocortex构建VR软技能培训:Meta Quest上的AI角色扮演角色会对学员说的话作出反应,按检查点推进,并为复盘提供依据。

Neocortex TeamThe team behind Neocortex

· 阅读约 6 分钟

用Neocortex构建VR软技能培训:Meta Quest上的AI角色扮演角色会对学员说的话作出反应,按检查点推进,并为复盘提供依据。

大多数软技能培训仍然意味着一段视频、一份选择题测试,也许还有一次和同事进行的尴尬角色扮演,而那位同事通常对你格外宽容。Neocortex让VR场景可以把学员放在一个不会这样宽容的角色面前:一位情绪激动的客人、一位紧张的病人,或者一位难缠的买家。他会对学员选择的每一句话作出反应,并像真实的人一样逐渐平静或更加愤怒。

实际效果是什么样的

The Albury是一家虚构的城市酒店,为一项酒店服务培训项目在VR中重建。一名新入职的前台学员戴上Meta Quest头显,发现自己晚上十一点站在前台柜台后面。旋转门里走进来Harriet Lowe,拖着行李箱,已经很生气。她的房间一个小时前已经被别人订走了。

Harriet: 我四个月前就订了这个房间。四个月。你现在告诉我没有了? 学员: 这样不对,我很抱歉。让我看看现在能为您做些什么。 Harriet: 好吧。但我不会去睡杂物间的。

学员查看虚拟的预订屏幕,应用随即发出一个事件:顶层有一间套房空着。她提出以原价并含早餐的条件为Harriet安排这间房。Harriet的下一句台词被标记为"松了口气",她松开了交叉的双臂,而这条回复中还带有一个TAKE_KEYCARD行为,应用会将其播放为她伸手去拿房卡。

另一位学员运行同样的场景,开口就说"嗯,这是酒店的规定。"Harriet的情绪变得愤怒,她的回复中带有ASK_FOR_MANAGER,场景也随之变得更加困难。两条路径都不是预先写好的脚本。培训师定义的是Harriet是谁、她想要什么,以及一个好的回应需要经过哪些检查点。

场景结束时,头显会显示一份复盘:学员达到的检查点,以及四个关于酒店投诉指南应当提供什么的简短问题。

Neocortex如何实现这一点

  • AI角色。 Harriet是在Neocortex可视化节点编辑器中设计的:个性、背景故事、她的期望、什么能让她平静下来,以及什么会让事情变得更糟。在有人搭建大堂场景之前,培训师就可以在浏览器控制台中与她进行预演。
  • 情绪。 每句台词都带有情绪标签。你的动画系统会把它们转换为姿态和表情,因此学员能像在真实的前台一样读懂客人的情绪。
  • 对话流程。 开始、检查点和结束节点定义场景:确认问题、道歉、提出解决方案、确认下一步。每条回复都会返回一个flowState关键词,你的应用可以记录下来用于评估。所有方案均可使用对话流程。
  • 事件。 学员的手部动作同样重要。查看预订屏幕、呼叫客房服务或递交优惠券,都会作为事件发送,Harriet会对此作出回应。
  • 行为。 TAKE_KEYCARD、ASK_FOR_MANAGER或WALK_AWAY会随回复一起返回,你的场景会将其播放出来。
  • 语音、语音转文字和口型同步。 学员在头显中自然说话,角色以流式语音回复,Unity SDK驱动她的面部blendshape,使她的嘴型与话语同步。
  • 问答引擎。 通过API实现的题集和计分,用于复盘(Team方案)。
  • 用量控制。 为每位学员发送playerId,并按玩家和角色追踪用量,控制台中提供分析数据,项目负责人可以看到谁练习过、练习了多少次。
  • 知识库。 上传公司的服务指南,使教练角色能够在复盘中解释政策实际允许的范围。

可以构建的场景

医疗病人接诊。 紧张的病人Tomasz来到医院,准备接受一项他一直很害怕的手术,他的回答简短而躲闪。实习护士必须让他放松下来,同时还要收集病史。检查点会追踪过敏史、用药和知情同意是否已涵盖,他的情绪标签则显示他是在放松还是在封闭自己。

销售异议练习。 一位名叫Ruth Ambler的采购负责人喜欢产品,却嫌价格太高,桌上还放着另一家供应商更便宜的报价。销售学员需要逐一应对每一项异议。流程会记录他们在打折之前,是否询问了她真正的限制条件;之后的问答会检验他们是否了解定价规则。

降级冲突培训。 一名顾客在繁忙的商店里为退款大声吵闹,学员扮演保安或店长。场景中的事件,例如人群聚集或同事赶来,会提高或降低紧张程度。CALM_DOWN或STORM_OUT行为会告诉应用场景最终如何收场。

第二个声音。 对于两人场景,例如一对情侣在酒店前台意见不合,群聊可以把两个角色放在同一段对话中(Pro和Team方案)。对话流程在群聊中不运行,因此这类场景应通过事件和你自己的评分来评估。

构建方法

VR培训通过Unity在Meta Quest上运行,使用XR Interaction Toolkit和Unity SDK。我们的开源VR演示是头显端的良好起点。

  1. 像培训师一样编写场景。 角色是谁、哪里出了问题、什么样的结果算好,以及你希望学员体验到的错误。
  2. 在可视化编辑器中创建角色,设置个性、声音、情绪和若干肢体语言行为。
  3. 把评估标准转化为对话流程。 为你希望看到的每种行为设置一个检查点。
  4. 在控制台中预演,用好、一般和差的回应进行测试,直到角色的反应符合经验丰富的培训师的预期。
  5. 以VR演示为基础搭建场景:麦克风输入,语音和口型同步输出,行为映射到动画,学员的动作作为事件发送。
  6. 记录每位学员的流程状态,在Team方案中添加复盘问答,并在控制台中查看用量。

每个角色的第一版应当比现实情况稍微容易一些。成功过一次的学员,更愿意去挑战更难的版本,即客人不会那么快平静下来的情形。

软技能培训是我们AI NPC、环境AI与语音命令用例中的一个条目。关于更多VR创意,请阅读VR逃脱房间中的AI角色;关于课堂角色扮演,请参阅用于语言练习的AI对话伙伴。教育与培训和VR体验页面涵盖了其他内容。从一位难缠的客人和四个检查点开始即可。

2026年10月检查。

常见问题

AI角色可以用于VR软技能培训吗?

可以。Neocortex角色运行在使用Unity和XR Interaction Toolkit构建的Meta Quest应用中。学员与它们对话,角色则以自己的声音回答,并带有反映对话进展的情绪。

如何评估AI角色扮演中的学员表现?

把场景设计为Neocortex对话流程,包含诸如确认问题或提出解决方案之类的检查点。每条回复都会返回一个flowState关键词,因此你的应用可以记录学员达到了哪些检查点。

VR培训场景可以以问答结束吗?

可以。Neocortex问答引擎在Team方案中通过API运行题集和计分,适合在每次角色扮演后进行简短复盘。

可以按学员追踪AI培训的用量吗?

可以。每个请求都发送玩家ID,Neocortex会按玩家和角色追踪用量与限制,控制台中提供分析数据。

相关文章

继续阅读