Neocortex Logo

基于 OpenAI Realtime API 构建语音 NPC,还是使用 Neocortex

你可以自己把 OpenAI Realtime API 接入 Unity。这里列出了整个构建过程涉及的全部内容,以及何时像 Neocortex 这样面向游戏的平台能为你节省数周时间。

Neocortex TeamThe team behind Neocortex

· 更新于 2026年10月20日 · 阅读约 5 分钟

你可以自己把 OpenAI Realtime API 接入 Unity。这里列出了整个构建过程涉及的全部内容,以及何时像 Neocortex 这样面向游戏的平台能为你节省数周时间。

周五晚上,你把麦克风接到 gpt-realtime-2.1 上,为一位脾气暴躁的铁匠写好系统提示词。到了周日,他已经在大声嘲笑你的盔甲选择了。 这看起来已经完成了。其实没有。

语音到语音模型让一个会说话的 NPC 演示只需一个下午就能做出来。但要把这个 NPC 真正交付给玩家,需要多得多的工作,而其中几乎所有额外的工作都与模型无关。 本文将说明在 Unity 中直接基于 OpenAI Realtime API 构建语音 NPC 需要做什么,以及 Neocortex 在其中的定位。

Realtime API 提供什么

  • 语音到语音模型,目前以 gpt-realtime-2.1 为主,支持可配置的推理强度、函数调用,以及 128K 上下文窗口。
  • 连接方式:浏览器和移动端使用 WebRTC,服务器端使用 WebSocket,电话通话使用 SIP。
  • 短期有效的客户端密钥,由你的服务器为每个会话创建,因此 API 密钥不会出现在客户端中。
  • 内置声音,共十种。模型在一个会话中开口之后,声音就无法再更改。
  • 基于录音的自定义声音,仅限联系 OpenAI 销售团队的符合条件的客户,并需要声音所有者的同意录音。
  • 按令牌计费,音频和文本、输入和输出分别计算。
  • 会话上限为 60 分钟。
  • 官方 SDK 支持 JavaScript、Python、.NET、Java、Go 和 Ruby。Unity 的支持来自社区库。

自行基于 OpenAI Realtime 构建与使用 Neocortex 对比

基于 OpenAI Realtime 自行构建Neocortex
Unity 客户端自己编写,或采用社区库Unity SDK,支持 Unity 6,附六个示例场景
会话处理客户端密钥服务器,在 60 分钟前重新连接没有会话上限:每一轮都是一次独立的 API 调用
角色设计在代码中编写提示词可视化节点编辑器
声音内置声音;符合条件的客户可使用自定义声音Pro 和 Team 套餐支持语音克隆和语音设计
游戏动作接入函数调用内置带目标 ID 和场景对象的动作
剧情结构你自己的状态机带有 flowState 检查点的对话流程
引擎取决于你自己构建的内容Unity、Unreal Engine 5、Godot、Web API
模型选择OpenAI 模型为你托管,另外可在 Unity 中通过 Ollama 使用本地模型进行文字聊天原型开发
成本音频和文本令牌附带用量额度的月度套餐

你需要自己构建的八项内容

要在 Realtime API 上交付一个会说话的 NPC,你的团队需要负责:

  1. Unity 音频客户端:采集麦克风、流式传输,并无间断地播放回复,包括在 WebGL 构建中(Unity 在 WebGL 中没有内置的麦克风输入)。
  2. 一个小型后端:对玩家进行身份验证,并为每个会话签发客户端密钥,因为你的 API 密钥绝不能随游戏构建一起发布。
  3. 以提示词形式完成的角色设计:在每次模型更新以及每位编辑者修改时都要保持一致。
  4. 会话生命周期管理:在 60 分钟上限之前重新连接,并在断开期间延续对话内容。
  5. 游戏集成:让函数调用转化为场景中正确对象上的动作。
  6. 安全护栏:当玩家试图让铁匠变成别的角色时,确保他始终是铁匠。
  7. 成本控制:每一秒输入和输出的音频都按令牌计费。
  8. 持续维护:每当模型、价格或 API 发生变化,都要在你发布的每个引擎上进行更新。

这些事情都不是不可能完成的。问题在于,它们全都是你无法用于游戏本身的时间。

同一个店主 NPC,两种构建方式

假设玩家走进商店,向店主要一瓶治疗药水。店主应当以角色身份回答;如果玩家之前态度粗鲁,他应当显得不耐烦;并且真的把道具交给玩家。

基于 Realtime API

你需要编写一段描述店主和商店库存的提示词,并定义一个 give_item 函数。 你的后端签发客户端密钥,你的 Unity 客户端打开会话,传输玩家的语音并播放回复。当模型调用 give_item 时,你的代码会找到药水,并将其移入物品栏。 对于店主的情绪,你需要在游戏状态中记录玩家的粗鲁程度,并将其注入提示词中;然后通过解析文本或要求模型返回结构化输出来添加动画提示。如果你希望这个角色拥有独特的声音,还需要确认自己是否符合自定义声音的条件。

基于 Neocortex

你在可视化编辑器中构建店主:用 Personality 和初始 Emotion 设定性格,用 Knowledge 保存库存清单,用 Intent 处理购买,用 Action 处理交付道具。你为他克隆或设计一个声音。 在 Unity 中,你的游戏会发送附近的对象和近期事件,包括玩家的粗鲁言论。回复以带有情绪标签的台词形式返回,因此动画师能知道他很不耐烦,同时还会返回一个动作,例如 { "name": "GIVE_ITEM", "targetId": "potion_01" },由你的游戏执行。 你可以先在浏览器中测试整段对话。

两种版本都使用了能力强的模型。区别在于店主存在于哪里:是存在于你的工程师需要维护的提示词字符串和胶水代码中,还是存在于一个设计师可以打开、阅读和修改、而无需改动构建的角色中。

专注于游戏,而不是管线

自行构建路线的真正成本会在上线之后显现。模型更新会改变铁匠的说话方式,价格调整会影响你的利润,新版本的 Unity 会让你依赖的社区库失效。每一件事都会落到你的团队身上,而且通常是在他们正忙于其他事情的时候。

Realtime API 是一个你需要围绕其搭建语音技术栈的模型。Neocortex 则本身就是语音技术栈,角色、引擎 SDK 和游戏逻辑的接入点都已就位,并随着模型和 API 的变化由我们负责维护。 设计师可以把性格、情绪、知识、意图和动作当作图中的节点来编辑,而不是埋藏在代码中的提示词,你的工程师则可以把时间花在游戏本身上。

OpenAI 相关信息最后一次核对于 2026 年 10 月。

常见问题

OpenAI Realtime API 有 Unity SDK 吗?

没有。OpenAI 官方 SDK 覆盖 JavaScript、Python、.NET、Java、Go 和 Ruby,Unity 的支持来自社区库。Neocortex 提供适用于 Unity 6 的 Unity SDK,附六个示例场景,同时还支持 Unreal Engine 5、Godot 和 Web API。

OpenAI Realtime 会话可以持续多久?

Realtime 会话上限为 60 分钟,因此较长的游戏会话需要重新连接的逻辑,以及延续上下文的方法。使用 Neocortex 时,每一轮都是一次独立的 API 调用,SDK 会处理这些细节,因此不存在需要计时的会话超时问题,你只需处理回复和动作。

OpenAI Realtime API 支持自定义声音吗?

基于录音的自定义声音仅限通过 OpenAI 销售渠道的符合条件的客户;其他人只能从内置声音中选择。Neocortex 允许你基于你拥有权利的一段短样本克隆声音,或根据文字描述设计声音,Pro 套餐可使用 5 个自定义声音,Team 套餐可使用 20 个。

OpenAI Realtime API 如何定价?

按输入和输出的文本与音频令牌计费,因此每一秒语音都会增加账单。Neocortex 套餐为月度套餐,附带用量额度。

相关文章

继续阅读