Meta Quest AI Building Blocks 与 Neocortex:VR NPC 怎么选
Meta 的 AI Building Blocks 将语言模型、语音和文字转语音服务商接入 Quest 的 Unity 项目。你仍需自己搭建什么,以及 Neocortex 如何覆盖 VR NPC。
Neocortex TeamThe team behind Neocortex
· 更新于 2026年10月20日 · 阅读约 6 分钟

你正在用 Unity 为 Meta Quest 开发项目,希望让玩家能与一个角色对话。应该从 Meta 自家的 AI Building Blocks 开始,还是从角色平台开始?
Meta 的工具是最显而易见的第一站。Meta XR SDK 包含用于语言模型、语音和文字转语音的 AI Building Blocks,而历史悠久的 Voice SDK 负责语音指令和听写。 它们是有用的基础组件,但并不是角色。本文比较两者能为 VR NPC 提供什么,以及还需要你自己补充什么。
了解 Meta 在 Quest 上提供的 AI 功能
- AI Building Blocks。 包括四个模块:Object Detection、Large Language Models、Speech to Text 和 Text to Speech。每个模块都将一个 Unity 组件与一个服务商配对,由服务商决定推理在哪里运行:云端、本地电脑,还是头显本身。Meta 的文档列出了 OpenAI、Ollama、Hugging Face、Replicate 和 ElevenLabs 等服务商。
- 系统要求。 Unity 6 或更高版本、Quest 3 或 3S,以及云端服务商所需的网络连接。使用透视摄像头的模块还需要较新版本的 Meta XR Core SDK 和 MR Utility Kit。
- Voice SDK。 基于 Wit.ai 构建,用于语音指令、听写和 TTS。
- 不断变化的模型后端。 Meta 已经停止了 Llama API 预览版,因此使用它作为语言模型模块的项目需要改用其他服务商。
Meta 还提醒,云端模型不一定始终可以在服务商的服务器上使用,因此发布前请确认服务商和模型的可用性。
算一算你还要构建什么
Building Blocks 只是连接模型。角色需要的远不止这些。在这些模块之上,你的团队还需要编写并维护:
- 角色本身。 人设、背景故事、知识、记忆和护栏,并在长时间的游戏过程中保持一致。
- 模块之间的粘合代码。 把语音转文字的输出送入语言模型,再把回复送入文字转语音,并处理打断,让玩家可以中途插话。
- 多个独立的服务商账户。 每个模块可能由不同公司计费,各自有密钥、限额和价格变动。
- 自定义声音。 需要通过第三方语音服务实现。
- 场景感知和动作。 告诉角色玩家正拿着或正看着什么,并把回复转化为世界中发生的事情。
- 其他所有平台。 Building Blocks 面向 Unity 中的 Quest。PC VR 版本、平面屏幕版本或 Unreal 移植版本都需要重新开始。
比较 Meta AI Building Blocks 与 Neocortex
| Meta AI Building Blocks | Neocortex | |
|---|---|---|
| 是什么 | Quest 上 Unity 的服务商连接器 | 完整的 AI 角色平台 |
| 角色设计 | 自己构建 | 可视化节点编辑器,可在浏览器中测试 |
| 语言模型 | 自行选择并向服务商付费 | 由我们为你托管 |
| 语音 | 连接一个 TTS 服务商 | 流式 TTS 和 STT、声音克隆和声音设计 |
| 服务商和计费 | 多个,分别计费 | 一个账户,按月固定套餐 |
| 平台 | Quest 3 和 3S | Unity(桌面、移动端和网页),以及 Unreal、Godot 和 Web API |
| 玩法接口 | 自己构建 | 动作、可互动物体、逐句情绪 |
| 剧情结构 | 自己构建 | 带有 flowState 检查点的 Conversation Flow |
以一位混合现实店主为例
想象一位卖药水的店主,通过透视功能站在玩家真实的桌子上。
使用 Building Blocks,你需要加入语音转文字、语言模型和文字转语音三个模块,选择三家服务商并把它们连接起来。店主的性格写在系统提示词里。要让她在玩家拿起一个瓶子时作出反应,你需要编写代码,用文字描述场景,把它加入提示词,解析回复以判断意图,然后触发动画。除非你另外设置一个语音服务,否则她的声音只是一个预设的标准声音。
使用 Neocortex,你先在编辑器中构建她:用一个 Agent 节点写背景故事,用 Personality 和 Emotion 节点设定她的脾气,用一个包含价目表的 Knowledge 文件,以及一个列出瓶子的 Objects 节点。你在浏览器中测试她,直到她讨价还价的方式符合你的预期。
在 Unity 中,你的游戏会告诉她玩家正拿着哪个带标签的物体。她用自己克隆或设计的声音回答,流式输出使回复能够迅速开始;回复中包含一个用于她面部表情的情绪标签,以及一个形如 { "name": "OPEN_DOOR", "targetId": "door_02" } 的动作,由你的代码执行,例如打开她身后的柜子。
如果任务需要结构,Conversation Flow 会引导她从问候进展到讨价还价,再到秘方,API 会把每个检查点以 flowState 的形式报告出来。
你可以在我们的使用 Unity XR Interaction Toolkit 的 VR 演示中看到角色在头显中运行的情况。
为你的 Quest 项目选择合适的方案
Building Blocks 适合只需要单一能力的团队,例如把语音听写到文本框,或为混合现实功能进行物体检测,并且准备好自行管理服务商账户的团队。
Neocortex 适合需要角色的团队:设计师无需重建应用即可编辑性格和知识,每个角色拥有自己的声音,NPC 能对场景作出反应。它也适合可能离开 Quest 的任何项目,因为同一个角色可以在其他平台和引擎中运行。
两者可以同时用于同一个应用。 用 Voice SDK 处理“暂停”或“库存”之类的菜单指令,用 Neocortex 角色进行对话。
关于套餐:商业发布需要 Pro(每月 EUR 29)或 Team(每月 EUR 99)套餐。Pro 还可通过 API 为最多六个角色提供群聊功能,适合 VR 中的一队同伴角色。
把一个角色放进头显
先从玩家最先遇到的 NPC 开始。在浏览器中构建它,添加 Unity SDK,然后在头显中听它回答。之后的每个角色都遵循同样的步骤。
Meta 的相关细节最后一次核对于 2026 年 10 月。
常见问题
Meta 的 AI Building Blocks 是什么?
它们是 Meta XR SDK 中的 Unity 组件,用于物体检测、语言模型、语音转文字和文字转语音,每个组件都连接到你选择的服务商。Neocortex 则是一个完整的角色平台,在一个 Unity SDK 中提供可视化编辑器、语音和玩法动作。
AI Building Blocks 支持哪些头显?
Meta 建议使用 Unity 6 或更高版本,搭配 Quest 3 或 Quest 3S。Neocortex 角色可以在桌面、移动端和网页的 Unity 中运行,同一角色也可以在 Unreal、Godot 中运行,并通过 Web API 使用。
Meta Llama API 还能用于 Quest 应用吗?
不能。Meta 已经停止了 Llama API 预览版,因此语言模型模块需要改用 OpenAI 或 Ollama 等其他服务商。Neocortex 为你托管语言模型,因此无需更换服务商。
VR NPC 能对玩家周围的物体作出反应吗?
使用 Building Blocks 时,开箱即用无法实现,需要你自己编写这一集成。在 Neocortex 中,你的游戏会发送附近的物体和最近发生的事件,角色则以开门或递交物品等动作作出回应。
能为 VR 角色克隆声音吗?
使用 Building Blocks,你需要连接一个 TTS 服务商,并在那里管理声音。Neocortex 支持用一段你有权使用的短样本进行声音克隆,也支持根据文字描述进行声音设计:Pro 套餐包含 5 个自定义声音,Team 套餐包含 20 个。






