Neocortex Logo

语言学习应用与游戏的 AI 对话伙伴

用 Neocortex 打造语言学习 AI 对话伙伴:角色扮演在里斯本咖啡馆点餐或参加求职面试,附带口语练习和反馈。

Neocortex TeamThe team behind Neocortex

· 阅读约 6 分钟

用 Neocortex 打造语言学习 AI 对话伙伴:角色扮演在里斯本咖啡馆点餐或参加求职面试,附带口语练习和反馈。

语言学习应用擅长练习和单词卡片,但学习者一走进真实的咖啡馆,就会僵住,因为从来没有人用正常语速回应过他们。Neocortex 为你的应用提供了一位对话伙伴:一个 AI 角色,始终留在场景之中,能用 20 多种语言说话和听懂,并在课程中一次推动学习者完成一轮对话。

实际效果

Passaporte 是一款原创的网页应用,面向学习欧洲葡萄牙语的旅行者。第六单元会把学习者带进 Café Andorinha,这是一家虚构的里斯本街角咖啡馆,铺着瓷砖,柜台由 Dona Lurdes 负责。她耐心十足,早高峰时略显急躁,并且拒绝改用英语。

学习者点击麦克风,尝试说:

Dona Lurdes: Bom dia! O que vai ser? 学习者: Queria um... galão? E um pastel de nata, por favor. Dona Lurdes: Um galão e um pastel de nata, muito bem. É para comer aqui ou para levar?

她的回复带着开心的情感标签返回,因此她的头像露出笑容,应用也会闪现一行小字"点得很好"。在幕后,这节课的对话流程刚刚通过了第一个检查点,回复中携带了关键词 ordered,应用据此勾选课程条带上的第一张卡片。

接下来,学习者把 "levar"(带走)和 "lavar"(洗)弄混了,问能不能把糕点洗一下。Dona Lurdes 愣了一下,笑了笑,然后放慢语速重新提问。如果学习者卡住了,她会返回一个 SHOW_HINT 动作,应用便滑出一张卡片,上面有两句有用的短语。当学习者要求结账并道别时,这节课就结束了,应用随后会从本单元中提出五道快速词汇问题。

编写者只定义了一个角色、一个场景和四个节点。每次学习者重播时,每一轮对话都是全新的。

Neocortex 如何实现这一功能

  • AI 角色。 Dona Lurdes 在 Neocortex 可视化节点编辑器中设计:性格、背景故事、她经营的咖啡馆、她对英语的严格程度、声音和动作。教师可以在应用上线之前,在浏览器仪表盘中与她试聊。
  • 20 多种语言。 同一个角色设计可以在你的课程教授的每种语言中重复使用,并搭配相应的声音。
  • 对话流程。 Start、Checkpoint 和 End 节点定义课程的各个节点:问候、点餐、处理后续问题、付款。每条回复都会返回一个 flowState 关键词,供你的应用做出反应。所有套餐都包含对话流程。
  • 语音与语音转文字。 每句台词都以角色的声音流式播放,学习者大声作答。在浏览器中,这通过 Unity WebGL 麦克风(需要 HTTPS)实现,或通过你的应用自己的麦克风采集,再发送到 Neocortex 的语音转文字。
  • 情感。 每句台词都带有情感标签。学习者说对了就表现开心,单词用错了就表现困惑,因此反馈看起来像是一个人在做出反应,而不是一个红叉。
  • 动作。 SHOW_HINT、SHOW_MENU 或 PLAY_SLOWER 会随回复一同返回,由你的应用决定它们在屏幕上呈现为什么样子。
  • 知识库。 把单元的单词表和语法笔记以 PDF 或 TXT 形式上传,使角色引导学习者使用他们刚学过的词汇。Starter 包含 5 个上传文件,Pro 为 20 个,Team 为 100 个。
  • 测验引擎。 通过 API 运行题集和计分,在每个场景结束时进行词汇检测(Team 套餐)。
  • 会话记忆与用量。 保存 sessionId,以便之后恢复学习者的会话;使用按玩家设置的限额,使整个班级的练习成本保持可预测。

可以构建的创意

旅行短语之旅。 沿着一条路线串联多个短场景:在波尔图买火车票,向药剂师询问防晒霜,在一家弄丢了预订的民宿办理入住。每个场景都是独立的对话流程,学习者可以反复练习药店的场景,直到觉得轻松,再进入下一个场景。

求职面试。 商务学习者练习一场德语面试,面试官会就他们上一份工作和薪资期望追问。流程会勾选自我介绍、关于工作经验的问题,以及结尾学习者自己的提问;之后的测验则覆盖他们在对话中用到的正式用语。

儿童语言游戏。 一只会说话的狐狸住在花园里,只说西班牙语。孩子们通过说出物品的名称帮助她找东西,每个正确的单词都会触发 SHOW_PICTURE 动作,让对应的物品弹出来。简短的台词、温暖的声音和大量开心的情感标签让它保持趣味。

VR 市场。 在 Meta Quest 上,用 Unity 制作,学习者穿过热闹的市场,与摊主面对面讨价还价。Unity SDK 的口型同步会让每位摊主的嘴随着说话而动,网页版本中的同样的流程和测验也可以直接迁移过来。

构建方法

网页应用可以从任何框架调用 Web API;面向桌面、移动端或 WebGL 的 Unity 应用使用 Unity SDK;同样的角色也可以在 Meta Quest 的 VR 版本中使用。

  1. 选择一个场景和一个级别。 初级的咖啡馆点餐就足够开始了。
  2. 在可视化编辑器中创建角色: 他们是谁、在哪里工作、说哪种语言、一个声音,以及几个有用的动作。
  3. 把课程设计为对话流程,为学习者应当能够说出的每件事设置一个检查点。
  4. 把单元词汇上传到知识库,使角色使用学习者已经认识的词。
  5. 在你的应用中接好麦克风和流程状态: 语音输入、语音输出,并且每个 flowState 关键词都勾选一个进度步骤。
  6. 添加测验。 在 Team 套餐中,可在场景末尾加入测验;在任何套餐中,也可以使用你自己的练习界面。

有意地设定角色的耐心程度。一个只重复一次、然后等待的伙伴,比每次停顿后都替学习者解围的伙伴,更适合练习。

语言伙伴是我们 AI NPC、环境 AI 和语音命令用例中的一个条目。关于其他学科的学习,请阅读 博物馆的 AI 历史人物 和 用 AI 进行 VR 软技能培训。教育与培训页面、语言支持功能页面,以及我们关于语言支持的文章涵盖了其余内容。从一家咖啡馆和一个检查点开始即可。

2026 年 10 月核对。

常见问题

学习者能与 AI 角色练习口语吗?

可以。Neocortex 角色以自己的声音回复,学习者可以通过语音转文字大声作答。角色会留在角色扮演场景中,例如咖啡馆或面试,并对学习者所说的内容做出反应。

AI 对话伙伴能说多少种语言?

Neocortex 角色支持 20 多种语言,因此一款应用可以为它教授的每种语言提供角色扮演练习。

语言应用能在对话中跟踪课程进度吗?

可以。Neocortex 对话流程使用 Start、Checkpoint 和 End 节点定义课程节点,每条回复都会返回一个 flowState 关键词,你的应用用它将某个步骤标记为完成。所有套餐都包含对话流程。

AI 语言伙伴能进行词汇测验吗?

可以。Neocortex 测验引擎在 Team 套餐中通过 API 运行题集和计分,因此角色扮演可以以简短的词汇检测结束。

相关文章

继续阅读