语言学习应用与游戏的 AI 对话伙伴
用 Neocortex 打造语言学习 AI 对话伙伴:角色扮演在里斯本咖啡馆点餐或参加求职面试,附带口语练习和反馈。
Neocortex TeamThe team behind Neocortex
· 阅读约 6 分钟

语言学习应用擅长练习和单词卡片,但学习者一走进真实的咖啡馆,就会僵住,因为从来没有人用正常语速回应过他们。Neocortex 为你的应用提供了一位对话伙伴:一个 AI 角色,始终留在场景之中,能用 20 多种语言说话和听懂,并在课程中一次推动学习者完成一轮对话。
实际效果
Passaporte 是一款原创的网页应用,面向学习欧洲葡萄牙语的旅行者。第六单元会把学习者带进 Café Andorinha,这是一家虚构的里斯本街角咖啡馆,铺着瓷砖,柜台由 Dona Lurdes 负责。她耐心十足,早高峰时略显急躁,并且拒绝改用英语。
学习者点击麦克风,尝试说:
Dona Lurdes: Bom dia! O que vai ser? 学习者: Queria um... galão? E um pastel de nata, por favor. Dona Lurdes: Um galão e um pastel de nata, muito bem. É para comer aqui ou para levar?
她的回复带着开心的情感标签返回,因此她的头像露出笑容,应用也会闪现一行小字"点得很好"。在幕后,这节课的对话流程刚刚通过了第一个检查点,回复中携带了关键词 ordered,应用据此勾选课程条带上的第一张卡片。
接下来,学习者把 "levar"(带走)和 "lavar"(洗)弄混了,问能不能把糕点洗一下。Dona Lurdes 愣了一下,笑了笑,然后放慢语速重新提问。如果学习者卡住了,她会返回一个 SHOW_HINT 动作,应用便滑出一张卡片,上面有两句有用的短语。当学习者要求结账并道别时,这节课就结束了,应用随后会从本单元中提出五道快速词汇问题。
编写者只定义了一个角色、一个场景和四个节点。每次学习者重播时,每一轮对话都是全新的。
Neocortex 如何实现这一功能
- AI 角色。 Dona Lurdes 在 Neocortex 可视化节点编辑器中设计:性格、背景故事、她经营的咖啡馆、她对英语的严格程度、声音和动作。教师可以在应用上线之前,在浏览器仪表盘中与她试聊。
- 20 多种语言。 同一个角色设计可以在你的课程教授的每种语言中重复使用,并搭配相应的声音。
- 对话流程。 Start、Checkpoint 和 End 节点定义课程的各个节点:问候、点餐、处理后续问题、付款。每条回复都会返回一个
flowState关键词,供你的应用做出反应。所有套餐都包含对话流程。 - 语音与语音转文字。 每句台词都以角色的声音流式播放,学习者大声作答。在浏览器中,这通过 Unity WebGL 麦克风(需要 HTTPS)实现,或通过你的应用自己的麦克风采集,再发送到 Neocortex 的语音转文字。
- 情感。 每句台词都带有情感标签。学习者说对了就表现开心,单词用错了就表现困惑,因此反馈看起来像是一个人在做出反应,而不是一个红叉。
- 动作。
SHOW_HINT、SHOW_MENU或PLAY_SLOWER会随回复一同返回,由你的应用决定它们在屏幕上呈现为什么样子。 - 知识库。 把单元的单词表和语法笔记以 PDF 或 TXT 形式上传,使角色引导学习者使用他们刚学过的词汇。Starter 包含 5 个上传文件,Pro 为 20 个,Team 为 100 个。
- 测验引擎。 通过 API 运行题集和计分,在每个场景结束时进行词汇检测(Team 套餐)。
- 会话记忆与用量。 保存
sessionId,以便之后恢复学习者的会话;使用按玩家设置的限额,使整个班级的练习成本保持可预测。
可以构建的创意
旅行短语之旅。 沿着一条路线串联多个短场景:在波尔图买火车票,向药剂师询问防晒霜,在一家弄丢了预订的民宿办理入住。每个场景都是独立的对话流程,学习者可以反复练习药店的场景,直到觉得轻松,再进入下一个场景。
求职面试。 商务学习者练习一场德语面试,面试官会就他们上一份工作和薪资期望追问。流程会勾选自我介绍、关于工作经验的问题,以及结尾学习者自己的提问;之后的测验则覆盖他们在对话中用到的正式用语。
儿童语言游戏。 一只会说话的狐狸住在花园里,只说西班牙语。孩子们通过说出物品的名称帮助她找东西,每个正确的单词都会触发 SHOW_PICTURE 动作,让对应的物品弹出来。简短的台词、温暖的声音和大量开心的情感标签让它保持趣味。
VR 市场。 在 Meta Quest 上,用 Unity 制作,学习者穿过热闹的市场,与摊主面对面讨价还价。Unity SDK 的口型同步会让每位摊主的嘴随着说话而动,网页版本中的同样的流程和测验也可以直接迁移过来。
构建方法
网页应用可以从任何框架调用 Web API;面向桌面、移动端或 WebGL 的 Unity 应用使用 Unity SDK;同样的角色也可以在 Meta Quest 的 VR 版本中使用。
- 选择一个场景和一个级别。 初级的咖啡馆点餐就足够开始了。
- 在可视化编辑器中创建角色: 他们是谁、在哪里工作、说哪种语言、一个声音,以及几个有用的动作。
- 把课程设计为对话流程,为学习者应当能够说出的每件事设置一个检查点。
- 把单元词汇上传到知识库,使角色使用学习者已经认识的词。
- 在你的应用中接好麦克风和流程状态: 语音输入、语音输出,并且每个
flowState关键词都勾选一个进度步骤。 - 添加测验。 在 Team 套餐中,可在场景末尾加入测验;在任何套餐中,也可以使用你自己的练习界面。
有意地设定角色的耐心程度。一个只重复一次、然后等待的伙伴,比每次停顿后都替学习者解围的伙伴,更适合练习。
语言伙伴是我们 AI NPC、环境 AI 和语音命令用例中的一个条目。关于其他学科的学习,请阅读 博物馆的 AI 历史人物 和 用 AI 进行 VR 软技能培训。教育与培训页面、语言支持功能页面,以及我们关于语言支持的文章涵盖了其余内容。从一家咖啡馆和一个检查点开始即可。
2026 年 10 月核对。
常见问题
学习者能与 AI 角色练习口语吗?
可以。Neocortex 角色以自己的声音回复,学习者可以通过语音转文字大声作答。角色会留在角色扮演场景中,例如咖啡馆或面试,并对学习者所说的内容做出反应。
AI 对话伙伴能说多少种语言?
Neocortex 角色支持 20 多种语言,因此一款应用可以为它教授的每种语言提供角色扮演练习。
语言应用能在对话中跟踪课程进度吗?
可以。Neocortex 对话流程使用 Start、Checkpoint 和 End 节点定义课程节点,每条回复都会返回一个 flowState 关键词,你的应用用它将某个步骤标记为完成。所有套餐都包含对话流程。
AI 语言伙伴能进行词汇测验吗?
可以。Neocortex 测验引擎在 Team 套餐中通过 API 运行题集和计分,因此角色扮演可以以简短的词汇检测结束。






