如何在 Unity 中为 AI NPC 添加语音聊天
在 Unity 中为 AI NPC 添加语音聊天:麦克风输入(语音检测或按键说话)、语音回复、口型同步,以及 WebGL、Android 和 iOS 的设置。
Sercan AltundasFounder of Neocortex
· 阅读约 9 分钟

用文字与角色交谈没问题。但对它开口说话,并听到它用自己的声音回答,则是另一种体验。本指南借助 Neocortex SDK,在 Unity 中为 AI NPC 添加完整的语音聊天:玩家的麦克风输入,角色的语音回复输出,加上口型同步,以及通常需要花一周时间才能找到的各平台细节。
SDK 中语音聊天的工作方式
一个语音回合要经过三个阶段:语音转文字听取玩家的话,角色撰写回复,然后文字转语音把回复说出来。我们的AI NPC 语音管线指南分别解释了每个阶段。在 Unity 中你无需自己把它们连接起来:SDK 通过一个 GameObject 上的三个组件处理整条链路。
| 组件 | 作用 |
|---|---|
| Neocortex Smart Agent | 角色:发送录音,接收回复 |
| Neocortex Audio Receiver | 麦克风,适用于桌面端、Android、iOS 和 WebGL |
| Audio Source | 角色声音播放的位置 |
如果你还没有设置 SDK,请先阅读如何在 Unity 游戏中添加 AI 角色。
第一步:无需代码的语音 NPC
把这三个组件添加到角色的 GameObject 上,并在 Smart Agent 的下拉菜单中选择角色。开启 Auto Voice Input(默认开启)后,代理会找到接收器,把每段录音作为语音消息发送,并在每次回复后重新打开麦克风。按下 Play,然后开口说话即可。
最快的方法是在 Hierarchy 中右键选择 Neocortex > Complete Voice Chat,它会搭建相同的组件结构,并附带一个聊天面板和一个麦克风按钮。
第二步:选择语音检测或按键说话
Audio Receiver 默认使用语音检测来监听。三个设置决定其行为:
- Amplitude Threshold(默认 0.1):玩家要多大声才算在说话。在嘈杂的房间中请调高。
- Max Wait Time(默认 1 秒):多长的静默会结束一句话。越短感觉越快,但会打断说话慢的玩家。
- Lead In(默认 0.3 秒):保留玩家开始说话之前的一小段音频,以免第一个音节被截掉。
若要使用按键说话,请切换接收器的模式,并通过你自己的输入来开始和停止录音。以下代码使用 Unity 的 Input System:
using UnityEngine;
using UnityEngine.InputSystem;
using Neocortex;
public class PushToTalk : MonoBehaviour
{
[SerializeField] private NeocortexAudioReceiver microphone;
private void Start() => microphone.SetPushToTalk(true);
private void Update()
{
var keyboard = Keyboard.current;
if (keyboard == null) return;
if (keyboard.vKey.wasPressedThisFrame) microphone.StartMicrophone();
if (keyboard.vKey.wasReleasedThisFrame) microphone.StopMicrophone();
}
}松开 V 键会结束录音,代理会立即发送。若要使用屏幕上的按钮,SDK 的 Neocortex Push To Talk Button 会在按下和松开时执行同样的操作,而 Neocortex Microphone Dropdown 则允许玩家选择自己的设备。
第三步:设置语音回复的方式
Smart Agent 的 Chat Lines Mode 决定回复如何发声:
- PerLineAudio 在每一行开始时就为其配音,因此较长的回复能很快开始说话。
- SingleAudio 把整段回复作为一个音频片段来配音。
- Off 通过
OnAudioResponseReceived把音频片段交给你,自己不播放任何内容,适用于你自己的音频系统。
语音从我们的服务器流式传输,经过极短的缓冲后即开始播放,因此在整段音频生成之前角色就已经开始说话。声音会跟随每一行的情绪,因此一句惊慌的台词听起来就是惊慌的。
有两个事件有助于呈现效果:OnTranscriptionReceived 会给你玩家说过的内容,可用于字幕或“你说了”之类的提示;OnChatLineStarted 则会在回复的每一行开始时给你该行内容。
第四步:添加口型同步
为角色添加 Neocortex Face Animator(Add Component > Neocortex)。它会找到代理和音频源,并根据说出的文字,使用 ARKit 命名的混合形状(例如 JawOpen 和 MouthFunnel)来移动嘴部。Ready Player Me 的虚拟形象开箱即可使用这些形状。至于如何把情绪映射到面部表情,则由你自己设定;我们关于有情绪的 AI NPC的指南中有一张实用的表格。
平台注意事项
- Android 和 iOS: 接收器在首次使用时会自行请求麦克风权限。它的 On Permission Denied 事件允许你显示提示信息,或退回到文字输入。
- WebGL: 浏览器中不存在 Unity 的麦克风。在 Player Settings > Resolution and Presentation 下选择 Neocortex WebGL 模板(SDK 会将其导入你的项目,Tools > Neocortex > Import WebGL Template 可将其恢复)。请通过 HTTPS 托管构建版本,因为浏览器只允许在安全页面上使用麦克风。如果没有选择该模板,控制台会警告麦克风输入将无法工作。
- 桌面端: 玩家第一次可能需要在操作系统的隐私设置中允许麦克风访问。
常见问题排查
- NPC 会回答它自己的声音。 使用扬声器时,麦克风可能会听到回复。语音检测会在回复结束后重新开启,但按键说话或使用耳机则可以完全避免这个问题。
- 玩家说到一半被打断。 把 Max Wait Time 稍微调高,或切换为按键说话。
- 短促的咔哒声触发了回复。 低于 0.15 秒的声音已经会被忽略。如果背景噪声仍然被识别,请调高 Amplitude Threshold。
- 网页版本中没有任何反应。 首先检查 WebGL 模板和 HTTPS。
后续步骤
语音是延迟最明显的环节,因此请阅读如何让 AI NPC 的语音回复在一秒内完成。若要用同一种声音为你脚本化的台词配音,请参阅Unity 中 NPC 对话的文字转语音;若要使用头显,请参阅Meta Quest 游戏中的 AI 角色。所有教程都收录在构建 AI NPC 指南中。
常见问题
如何在 Unity 中为 AI NPC 添加语音聊天?
在同一个 GameObject 上放置 Neocortex Smart Agent、Audio Source 和 Neocortex Audio Receiver。接收器录下玩家的声音,代理将其转写并以角色的声音回复。整个过程无需代码,按键说话只是一个设置。
Unity 的语音识别能在 WebGL 中工作吗?
Unity 的 Microphone 类在浏览器中无法工作。Neocortex SDK 通过其 WebGL 模板把浏览器的麦克风引入 Unity,因此语音 NPC 可以在通过 HTTPS 提供的网页构建版本中运行。
NPC 语音聊天应该用按键说话还是语音检测?
按键说话永远不会打断玩家,适合 PC 和手柄游戏。语音检测则解放双手,适合 VR。Neocortex Audio Receiver 两者都支持:默认是语音检测,切换一个开关即可改为按键说话。
Unity 中的 AI NPC 能做口型同步吗?
可以。为角色添加 Neocortex Face Animator。它根据说出的文字,通过 ARKit 命名的混合形状来移动嘴部,Ready Player Me 的虚拟形象都具备这些形状。
语音 NPC 能在 Android 和 iOS 上运行吗?
可以。Neocortex Audio Receiver 会在 Android 和 iOS 上自行请求麦克风权限,同一个组件也适用于桌面端和 WebGL。






