基于 OpenAI Realtime API 构建语音 NPC,还是使用 Neocortex
你可以自己把 OpenAI Realtime API 接入 Unity。这里列出了整个构建过程涉及的全部内容,以及何时像 Neocortex 这样面向游戏的平台能为你节省数周时间。
Neocortex TeamThe team behind Neocortex
· 更新于 2026年10月20日 · 阅读约 5 分钟

周五晚上,你把麦克风接到 gpt-realtime-2.1 上,为一位脾气暴躁的铁匠写好系统提示词。到了周日,他已经在大声嘲笑你的盔甲选择了。 这看起来已经完成了。其实没有。
语音到语音模型让一个会说话的 NPC 演示只需一个下午就能做出来。但要把这个 NPC 真正交付给玩家,需要多得多的工作,而其中几乎所有额外的工作都与模型无关。 本文将说明在 Unity 中直接基于 OpenAI Realtime API 构建语音 NPC 需要做什么,以及 Neocortex 在其中的定位。
Realtime API 提供什么
- 语音到语音模型,目前以 gpt-realtime-2.1 为主,支持可配置的推理强度、函数调用,以及 128K 上下文窗口。
- 连接方式:浏览器和移动端使用 WebRTC,服务器端使用 WebSocket,电话通话使用 SIP。
- 短期有效的客户端密钥,由你的服务器为每个会话创建,因此 API 密钥不会出现在客户端中。
- 内置声音,共十种。模型在一个会话中开口之后,声音就无法再更改。
- 基于录音的自定义声音,仅限联系 OpenAI 销售团队的符合条件的客户,并需要声音所有者的同意录音。
- 按令牌计费,音频和文本、输入和输出分别计算。
- 会话上限为 60 分钟。
- 官方 SDK 支持 JavaScript、Python、.NET、Java、Go 和 Ruby。Unity 的支持来自社区库。
自行基于 OpenAI Realtime 构建与使用 Neocortex 对比
| 基于 OpenAI Realtime 自行构建 | Neocortex | |
|---|---|---|
| Unity 客户端 | 自己编写,或采用社区库 | Unity SDK,支持 Unity 6,附六个示例场景 |
| 会话处理 | 客户端密钥服务器,在 60 分钟前重新连接 | 没有会话上限:每一轮都是一次独立的 API 调用 |
| 角色设计 | 在代码中编写提示词 | 可视化节点编辑器 |
| 声音 | 内置声音;符合条件的客户可使用自定义声音 | Pro 和 Team 套餐支持语音克隆和语音设计 |
| 游戏动作 | 接入函数调用 | 内置带目标 ID 和场景对象的动作 |
| 剧情结构 | 你自己的状态机 | 带有 flowState 检查点的对话流程 |
| 引擎 | 取决于你自己构建的内容 | Unity、Unreal Engine 5、Godot、Web API |
| 模型选择 | OpenAI 模型 | 为你托管,另外可在 Unity 中通过 Ollama 使用本地模型进行文字聊天原型开发 |
| 成本 | 音频和文本令牌 | 附带用量额度的月度套餐 |
你需要自己构建的八项内容
要在 Realtime API 上交付一个会说话的 NPC,你的团队需要负责:
- Unity 音频客户端:采集麦克风、流式传输,并无间断地播放回复,包括在 WebGL 构建中(Unity 在 WebGL 中没有内置的麦克风输入)。
- 一个小型后端:对玩家进行身份验证,并为每个会话签发客户端密钥,因为你的 API 密钥绝不能随游戏构建一起发布。
- 以提示词形式完成的角色设计:在每次模型更新以及每位编辑者修改时都要保持一致。
- 会话生命周期管理:在 60 分钟上限之前重新连接,并在断开期间延续对话内容。
- 游戏集成:让函数调用转化为场景中正确对象上的动作。
- 安全护栏:当玩家试图让铁匠变成别的角色时,确保他始终是铁匠。
- 成本控制:每一秒输入和输出的音频都按令牌计费。
- 持续维护:每当模型、价格或 API 发生变化,都要在你发布的每个引擎上进行更新。
这些事情都不是不可能完成的。问题在于,它们全都是你无法用于游戏本身的时间。
同一个店主 NPC,两种构建方式
假设玩家走进商店,向店主要一瓶治疗药水。店主应当以角色身份回答;如果玩家之前态度粗鲁,他应当显得不耐烦;并且真的把道具交给玩家。
基于 Realtime API
你需要编写一段描述店主和商店库存的提示词,并定义一个 give_item 函数。
你的后端签发客户端密钥,你的 Unity 客户端打开会话,传输玩家的语音并播放回复。当模型调用 give_item 时,你的代码会找到药水,并将其移入物品栏。
对于店主的情绪,你需要在游戏状态中记录玩家的粗鲁程度,并将其注入提示词中;然后通过解析文本或要求模型返回结构化输出来添加动画提示。如果你希望这个角色拥有独特的声音,还需要确认自己是否符合自定义声音的条件。
基于 Neocortex
你在可视化编辑器中构建店主:用 Personality 和初始 Emotion 设定性格,用 Knowledge 保存库存清单,用 Intent 处理购买,用 Action 处理交付道具。你为他克隆或设计一个声音。
在 Unity 中,你的游戏会发送附近的对象和近期事件,包括玩家的粗鲁言论。回复以带有情绪标签的台词形式返回,因此动画师能知道他很不耐烦,同时还会返回一个动作,例如 { "name": "GIVE_ITEM", "targetId": "potion_01" },由你的游戏执行。
你可以先在浏览器中测试整段对话。
两种版本都使用了能力强的模型。区别在于店主存在于哪里:是存在于你的工程师需要维护的提示词字符串和胶水代码中,还是存在于一个设计师可以打开、阅读和修改、而无需改动构建的角色中。
专注于游戏,而不是管线
自行构建路线的真正成本会在上线之后显现。模型更新会改变铁匠的说话方式,价格调整会影响你的利润,新版本的 Unity 会让你依赖的社区库失效。每一件事都会落到你的团队身上,而且通常是在他们正忙于其他事情的时候。
Realtime API 是一个你需要围绕其搭建语音技术栈的模型。Neocortex 则本身就是语音技术栈,角色、引擎 SDK 和游戏逻辑的接入点都已就位,并随着模型和 API 的变化由我们负责维护。 设计师可以把性格、情绪、知识、意图和动作当作图中的节点来编辑,而不是埋藏在代码中的提示词,你的工程师则可以把时间花在游戏本身上。
OpenAI 相关信息最后一次核对于 2026 年 10 月。
常见问题
OpenAI Realtime API 有 Unity SDK 吗?
没有。OpenAI 官方 SDK 覆盖 JavaScript、Python、.NET、Java、Go 和 Ruby,Unity 的支持来自社区库。Neocortex 提供适用于 Unity 6 的 Unity SDK,附六个示例场景,同时还支持 Unreal Engine 5、Godot 和 Web API。
OpenAI Realtime 会话可以持续多久?
Realtime 会话上限为 60 分钟,因此较长的游戏会话需要重新连接的逻辑,以及延续上下文的方法。使用 Neocortex 时,每一轮都是一次独立的 API 调用,SDK 会处理这些细节,因此不存在需要计时的会话超时问题,你只需处理回复和动作。
OpenAI Realtime API 支持自定义声音吗?
基于录音的自定义声音仅限通过 OpenAI 销售渠道的符合条件的客户;其他人只能从内置声音中选择。Neocortex 允许你基于你拥有权利的一段短样本克隆声音,或根据文字描述设计声音,Pro 套餐可使用 5 个自定义声音,Team 套餐可使用 20 个。
OpenAI Realtime API 如何定价?
按输入和输出的文本与音频令牌计费,因此每一秒语音都会增加账单。Neocortex 套餐为月度套餐,附带用量额度。






