Neocortex Logo

如何在 Unity 游戏中本地运行 LLM

在 Unity 中本地运行 LLM:用 Ollama 和 Neocortex 包制作 NPC 聊天原型,了解本地模型对玩家的成本,以及设备端推理何时划算。

Sercan AltundasFounder of Neocortex

· 更新于 2026年11月3日 · 阅读约 8 分钟

在 Unity 中本地运行 LLM:用 Ollama 和 Neocortex 包制作 NPC 聊天原型,了解本地模型对玩家的成本,以及设备端推理何时划算。

在 Unity 中本地运行语言模型,意味着 NPC 的"大脑"存在于电脑上,而不是服务器上:不需要联网,数据不会离开设备,也没有每条消息的费用。本指南介绍最快的尝试方式,即使用 Ollama 和 Neocortex Ollama Support 包制作原型,然后说明把本地模型交付给玩家时真正涉及哪些工作。

本地运行模型的三种方式

途径模型运行的位置适用场景
你电脑上的 Ollama单独的本地服务器原型制作和离线测试
嵌入构建包中的模型游戏进程内部使用较小模型的已发布游戏
Neocortex 设备端运行时游戏内部,支持语音发布带语音的设备端角色的工作室

LLMUnity 等开源包采用嵌入式途径,通过 llama.cpp 运行,角色逻辑则由你自己负责。本指南其余部分将逐步介绍 Ollama 途径,然后介绍设备端运行时。

在 Unity 中用 Ollama 制作原型

Ollama 会在你的电脑上下载并运行开源模型,并在其后提供一个小型本地服务器。Neocortex Ollama Support 包把 Unity 与它连接起来,并附带模型选择器和现成的聊天示例。

第一步:安装包

你需要安装了 Neocortex Unity SDK 的 Unity 6,因为 Ollama 包使用其中的聊天界面。然后在 Package Manager 中通过 git 地址添加 Ollama 包:

https://github.com/neocortex-link/neocortex-ollama-support.git

第二步:安装 Ollama 并选择模型

打开 Tools > Neocortex > Ollama Support。该窗口会引导你安装 Ollama,并选择要下载的模型。建议从小模型开始:几十亿参数的模型在普通游戏 GPU 上能快速作答,而更大的模型需要多得多的显存。

第三步:运行聊天示例

在 Package Manager 中,打开 Ollama Support 包的 Samples 标签,导入 Chat Sample。按下 Play,从下拉菜单中选择模型,然后输入文字。NPC 会由你自己电脑上的模型作答。

第四步:从你自己的代码中调用

示例中的 OllamaRequest 就足以把本地模型接入你自己的 NPC:

using UnityEngine;
using Neocortex;
using Neocortex.Data;

public class LocalNpc : MonoBehaviour
{
    private OllamaRequest request;

    private void Start()
    {
        request = new OllamaRequest { ModelName = "MODEL_NAME" }; // a model you downloaded with Ollama
        request.AddSystemMessage("You are Brannoch, a gruff village blacksmith. Answer in one or two sentences.");
        request.OnChatResponseReceived += OnReply;
        request.Send("Is the north road safe?");
    }

    private void OnReply(ChatResponse response) => Debug.Log(response.message);
}

该请求自身会保存对话历史,因此每次 Send 都会延续同一段聊天。

Ollama 途径未涵盖的内容

它是一个原型工具,而且只支持文字聊天:

  • 没有语音。 语音识别和文字转语音不属于它的功能。
  • 没有情感或动作。 你得到的只是纯文本。
  • 玩家需要安装 Ollama。 每位玩家都必须自己安装它并下载模型,而几乎没有人愿意这么做。

当原型证明了这个想法之后,同一个 Unity SDK 可以连接云端的 Neocortex 角色,提供语音、情感、动作和可视化编辑器,玩家的电脑上也无需任何模型。我们的 Unity AI 角色教程介绍了该设置。

真正交付本地模型的成本

本地推理把成本从你的服务器账单转移到了玩家的硬件上:

  • 内存。 模型必须能与你的游戏一同装进显存。在我们的运行时上,3B 模型需要约 3 GB,2B 模型则不到 1 GB。
  • 下载体积。 模型会使安装包增加数 GB。
  • 质量。 小模型的能力不及大型云端模型,因此角色需要更严谨的写作和更窄的知识范围。
  • 平台。 WebGL 无法运行,大多数手机也腾不出足够的内存。

Neocortex 设备端运行时

对于需要在玩家设备上运行、并带有语音的角色的工作室,Neocortex 以 Custom 套餐的形式提供设备端运行时。在一台笔记本 RTX 3080 上,它在 0.06 秒内返回第一个 token,并在约一秒后开始说话;使用一个 3B 模型,占用约 3 GB 显存,语音识别和语音合成在 CPU 上运行。联系我们规划部署方案,关于各选项的比较,请参阅本地与本地部署 AI NPC 平台。

视频教程

该视频演示了 Unity 中的 Ollama Support 包。

在 YouTube 上观看视频

下一步

关于决策中的速度部分,请阅读如何让 AI NPC 的语音回复在一秒内完成。如果你需要云端方案,且玩家电脑上无需任何设置,请参阅如何在 Unity 中让 NPC 用 ChatGPT 说话,它对比了自行调用 API 与使用 Neocortex SDK。所有教程都收录在构建 AI NPC 指南中。

常见问题

我可以在 Unity 中本地运行 LLM 吗?

可以。最快的方法是在你自己的电脑上使用 Ollama 和 Neocortex Ollama Support 包,它提供模型选择器和聊天示例。这只是用于原型的文字聊天。若要向玩家交付设备端 AI,工作室可以通过 Custom 套餐安排 Neocortex 设备端运行时。

本地 LLM 的 NPC 需要多少显存?

取决于模型大小。在我们自己的设备端运行时上,3B 模型约占用 3 GB 显存,2B 模型不到 1 GB,语音识别和语音合成在 CPU 上运行。更大的模型需要多得多的显存。

玩家能在我发布的游戏中使用 Ollama 吗?

只有当每位玩家都自行安装 Ollama 并下载模型时才行,但很少有人会这么做。Ollama 是很好的原型工具。已发布的游戏要么使用云端服务,要么捆绑设备端运行时。

本地 LLM 能在 Unity WebGL 或移动端运行吗?

实际上很少可行。浏览器版本无法访问本地模型服务器,而手机的内存也几乎没有余量。云端角色在两种平台上都能运行,包括通过 Neocortex 模板在 WebGL 中实现语音。

本地 LLM 比云端更快吗?

它不经过网络,因此第一个词可以出现得非常快。在一台笔记本 RTX 3080 上,我们的设备端运行时在 0.06 秒内返回第一个 token,并在约一秒后开始说话。

相关文章

继续阅读