Neocortex Logo

基于 Gemini Live API 制作游戏 NPC 与使用 Neocortex 对比

Gemini Live API 可处理实时语音,但其 Unity 支持仍处于预览阶段。介绍基于它制作 NPC 需要做什么,以及 Neocortex 的定位。

Neocortex TeamThe team behind Neocortex

· 更新于 2026年10月20日 · 阅读约 5 分钟

Gemini Live API 可处理实时语音,但其 Unity 支持仍处于预览阶段。介绍基于它制作 NPC 需要做什么,以及 Neocortex 的定位。

一个 Gemini Live NPC 大约只能说十分钟的话,然后连接就会断开。

Google 的 Gemini Live API 通过有状态的 WebSocket 将音频流式传输到模型并返回,对游戏开发者来说很有吸引力:把麦克风接上去,给它设定一个人设,你就拥有了一个会说话的 NPC。 麻烦从边界开始出现:会话限制、仍处于预览阶段的 Unity 路线,以及游戏在语音之上还需要的一切。 下面介绍基于它制作 NPC 需要做什么,以及 Neocortex 的定位。

必须围绕设计的会话限制

Google 记载了三项限制,它们塑造了每一个 Gemini Live 集成。玩家不会在意这些限制,而这正是你的代码必须处理它们的原因。

15 分钟的音频会话

如果没有上下文窗口压缩,纯音频会话限制为 15 分钟,包含音频和视频的会话限制为 2 分钟。 压缩使用滑动窗口来无限延长会话,代价是模型会逐渐丢失对话中最早的部分。对于一个应该记得任务开头的同伴角色来说,这是一项设计决策,而不仅仅是一个设置项。

10 分钟的连接

此外,一次连接大约持续 10 分钟。连接结束时,会话也随之结束,除非你进行恢复。 在游戏中,这意味着对话中途需要重新连接,而玩家绝不应该听到这个接缝。

恢复句柄

为了在重新连接后保持会话,你需要启用会话恢复。服务器会发送句柄,重新连接时你需要传入最新的一个。句柄在会话结束后 2 小时内有效。 再加上 Google 推荐用于客户端应用的临时令牌,你还需要一个后端,为每位玩家的客户端签发短期凭据。

通过 Firebase AI Logic 支持 Unity

Google 进入 Unity 的途径是 Firebase AI Logic。其 Live API 支持仍处于预览阶段:没有 SLA,没有弃用政策,并且可能“以不向后兼容的方式更改”。 Unity SDK 提供了 C# 代码示例,但其针对 Unity 的 Live API 快速入门仍标注为“即将推出”。

模型列表比 Gemini API 本身的更窄。通过 Gemini Developer API,Firebase 列出了 Gemini 3.1 Flash Live Preview 以及 Gemini 2.5 原生音频预览版。通过 Google 的企业级 Agent Platform(原 Vertex AI),它列出了 Gemini 2.5 Live 模型,没有任何 3.x 版本的 Live 模型。 Gemini 3.8 Live 是 Gemini API 上最新的 Live 模型,但不在以上任何一个列表中。

因此,Unity 团队只能在两者之间选择:使用带有较旧模型的预览版 SDK,或者针对原始 API 编写自己的 WebSocket 客户端。

Gemini Live 的费用

Live 模型按 token 计费,Google 也公布了音频的每分钟等值费用。在付费层级,音频输入为每百万 token $3.00(约每分钟 $0.005),音频输出为每百万 token $12.00(约每分钟 $0.018)。

按这些费率计算,仅音频部分,玩家讲话 60 分钟加上 NPC 说话 60 分钟,就需要约 $1.38,这还不包括文本 token、思考 token 或工具调用。真实的对话中会有停顿,因此多数情况下费用会更低,但账单依然会随着玩家对交谈的投入程度而增长。

此外还有免费层级。Google 的定价页面指出,免费层级的内容会被用于改进其产品,如果玩家向你的角色透露个人信息,这一点就很重要。

Neocortex 的方案按月计费,包含用量额度。Starter 为每月 €9,适用于个人和学术项目;Pro 每月 €29,增加了商业用途、群聊和 5 个自定义声音。

Gemini Live 与 Neocortex 对比

基于 Gemini Live 自行开发Neocortex
UnityFirebase AI Logic 预览版,模型列表有限Unity SDK,支持 Unity 6,六个示例场景
其他引擎自行构建客户端Unreal Engine 5、Godot、Web API
会话15 分钟会话,10 分钟连接,恢复句柄没有会话上限:每一轮都是一次独立的 API 调用
角色设计在代码中写提示词可视化节点编辑器
声音Google 预置的声音声音克隆和声音设计
游戏动作自行连接函数调用内置带有目标 ID 和场景物体的动作
多个角色自行构建同一对话中最多六个角色(Pro 和 Team)
本地 AI不支持在 Unity 中通过 Ollama 使用本地模型,用于文字聊天原型

模型 API 还是角色平台?

这是两种不同的方法,各有取舍。

基于模型 API 构建,可以直接使用最新的模型,并完全控制每一个请求。但你也会承受上述所有限制,并且需要自行编写引擎客户端、令牌后端、重新连接逻辑、角色提示词和游戏集成。当模型列表或 API 发生变化时,你需要更新所有这些部分。

使用角色平台,你对原始模型的控制较少,但能获得更多游戏所需的功能。在 Neocortex 中,性格、情绪、知识、意图和动作都是可视化图形中的节点,设计师可以直接编辑。每条回复都会返回每行台词的情绪标签,以及诸如 { "name": "OPEN_DOOR", "targetId": "door_02" } 之类的动作。对话流程会在剧情推进时报告检查点关键词(flowState)。麦克风输入可在 Unity WebGL 构建 中使用。

对大多数游戏团队来说,第二种方式才是真正能够上线的方式。关于其他语音 API 在相同方面的比较,请参阅我们的游戏 NPC 实时语音 API 概览。

后续步骤

  1. 创建 Neocortex 账户。
  2. 在编辑器中构建一个 NPC,并为其设定克隆或设计的声音。
  3. 在浏览器中与它对话,直到声音满意为止。
  4. 安装 Unity SDK,打开一个示例场景,然后在你的游戏中听到角色回答,而无需编写任何会话管道代码。

Google 的详细信息最后一次核对时间为 2026 年 10 月。

常见问题

Gemini Live API 能在 Unity 中使用吗?

可以通过 Firebase AI Logic 使用,其 Live API 支持仍处于预览阶段,没有 SLA,其 Unity 快速入门仍标注为“即将推出”。Neocortex 提供支持 Unity 6 的 Unity SDK,包含六个示例场景,同时还提供 Unreal Engine 5、Godot 和 Web API。

Gemini Live 会话可以持续多久?

除非你添加上下文窗口压缩和会话恢复,否则纯音频会话在 15 分钟时停止,连接约在 10 分钟时停止。使用 Neocortex 时,每一轮都是一次独立的 API 调用,并由 SDK 处理,因此你的角色不存在需要计时的会话,也无需编写恢复逻辑。

Gemini Live API 免费吗?

有免费层级,Google 的定价页面称免费层级的内容会被用于改进其产品;付费的音频输出则按 token 计费。

Unity 游戏可以使用哪些 Gemini Live 模型?

Firebase AI Logic 列出的是 Gemini 3.1 Flash Live Preview 和 Gemini 2.5 原生音频模型,不包括较新的 Gemini 3.8 Live。Neocortex 会为你管理模型,因此你的角色不依赖于 SDK 支持哪个预览版。

相关文章

继续阅读