Neocortex Logo

如何在 Unity 中为 AI NPC 添加语音聊天

在 Unity 中为 AI NPC 添加语音聊天:麦克风输入(语音检测或按键说话)、语音回复、口型同步,以及 WebGL、Android 和 iOS 的设置。

Sercan AltundasFounder of Neocortex

· 阅读约 9 分钟

在 Unity 中为 AI NPC 添加语音聊天:麦克风输入(语音检测或按键说话)、语音回复、口型同步,以及 WebGL、Android 和 iOS 的设置。

用文字与角色交谈没问题。但对它开口说话,并听到它用自己的声音回答,则是另一种体验。本指南借助 Neocortex SDK,在 Unity 中为 AI NPC 添加完整的语音聊天:玩家的麦克风输入,角色的语音回复输出,加上口型同步,以及通常需要花一周时间才能找到的各平台细节。

SDK 中语音聊天的工作方式

一个语音回合要经过三个阶段:语音转文字听取玩家的话,角色撰写回复,然后文字转语音把回复说出来。我们的AI NPC 语音管线指南分别解释了每个阶段。在 Unity 中你无需自己把它们连接起来:SDK 通过一个 GameObject 上的三个组件处理整条链路。

组件作用
Neocortex Smart Agent角色:发送录音,接收回复
Neocortex Audio Receiver麦克风,适用于桌面端、Android、iOS 和 WebGL
Audio Source角色声音播放的位置

如果你还没有设置 SDK,请先阅读如何在 Unity 游戏中添加 AI 角色。

第一步:无需代码的语音 NPC

把这三个组件添加到角色的 GameObject 上,并在 Smart Agent 的下拉菜单中选择角色。开启 Auto Voice Input(默认开启)后,代理会找到接收器,把每段录音作为语音消息发送,并在每次回复后重新打开麦克风。按下 Play,然后开口说话即可。

最快的方法是在 Hierarchy 中右键选择 Neocortex > Complete Voice Chat,它会搭建相同的组件结构,并附带一个聊天面板和一个麦克风按钮。

第二步:选择语音检测或按键说话

Audio Receiver 默认使用语音检测来监听。三个设置决定其行为:

  • Amplitude Threshold(默认 0.1):玩家要多大声才算在说话。在嘈杂的房间中请调高。
  • Max Wait Time(默认 1 秒):多长的静默会结束一句话。越短感觉越快,但会打断说话慢的玩家。
  • Lead In(默认 0.3 秒):保留玩家开始说话之前的一小段音频,以免第一个音节被截掉。

若要使用按键说话,请切换接收器的模式,并通过你自己的输入来开始和停止录音。以下代码使用 Unity 的 Input System:

using UnityEngine;
using UnityEngine.InputSystem;
using Neocortex;

public class PushToTalk : MonoBehaviour
{
    [SerializeField] private NeocortexAudioReceiver microphone;

    private void Start() => microphone.SetPushToTalk(true);

    private void Update()
    {
        var keyboard = Keyboard.current;
        if (keyboard == null) return;
        if (keyboard.vKey.wasPressedThisFrame) microphone.StartMicrophone();
        if (keyboard.vKey.wasReleasedThisFrame) microphone.StopMicrophone();
    }
}

松开 V 键会结束录音,代理会立即发送。若要使用屏幕上的按钮,SDK 的 Neocortex Push To Talk Button 会在按下和松开时执行同样的操作,而 Neocortex Microphone Dropdown 则允许玩家选择自己的设备。

第三步:设置语音回复的方式

Smart Agent 的 Chat Lines Mode 决定回复如何发声:

  • PerLineAudio 在每一行开始时就为其配音,因此较长的回复能很快开始说话。
  • SingleAudio 把整段回复作为一个音频片段来配音。
  • Off 通过 OnAudioResponseReceived 把音频片段交给你,自己不播放任何内容,适用于你自己的音频系统。

语音从我们的服务器流式传输,经过极短的缓冲后即开始播放,因此在整段音频生成之前角色就已经开始说话。声音会跟随每一行的情绪,因此一句惊慌的台词听起来就是惊慌的。

有两个事件有助于呈现效果:OnTranscriptionReceived 会给你玩家说过的内容,可用于字幕或“你说了”之类的提示;OnChatLineStarted 则会在回复的每一行开始时给你该行内容。

第四步:添加口型同步

为角色添加 Neocortex Face Animator(Add Component > Neocortex)。它会找到代理和音频源,并根据说出的文字,使用 ARKit 命名的混合形状(例如 JawOpen 和 MouthFunnel)来移动嘴部。Ready Player Me 的虚拟形象开箱即可使用这些形状。至于如何把情绪映射到面部表情,则由你自己设定;我们关于有情绪的 AI NPC的指南中有一张实用的表格。

平台注意事项

  • Android 和 iOS: 接收器在首次使用时会自行请求麦克风权限。它的 On Permission Denied 事件允许你显示提示信息,或退回到文字输入。
  • WebGL: 浏览器中不存在 Unity 的麦克风。在 Player Settings > Resolution and Presentation 下选择 Neocortex WebGL 模板(SDK 会将其导入你的项目,Tools > Neocortex > Import WebGL Template 可将其恢复)。请通过 HTTPS 托管构建版本,因为浏览器只允许在安全页面上使用麦克风。如果没有选择该模板,控制台会警告麦克风输入将无法工作。
  • 桌面端: 玩家第一次可能需要在操作系统的隐私设置中允许麦克风访问。

常见问题排查

  • NPC 会回答它自己的声音。 使用扬声器时,麦克风可能会听到回复。语音检测会在回复结束后重新开启,但按键说话或使用耳机则可以完全避免这个问题。
  • 玩家说到一半被打断。 把 Max Wait Time 稍微调高,或切换为按键说话。
  • 短促的咔哒声触发了回复。 低于 0.15 秒的声音已经会被忽略。如果背景噪声仍然被识别,请调高 Amplitude Threshold。
  • 网页版本中没有任何反应。 首先检查 WebGL 模板和 HTTPS。

后续步骤

语音是延迟最明显的环节,因此请阅读如何让 AI NPC 的语音回复在一秒内完成。若要用同一种声音为你脚本化的台词配音,请参阅Unity 中 NPC 对话的文字转语音;若要使用头显,请参阅Meta Quest 游戏中的 AI 角色。所有教程都收录在构建 AI NPC 指南中。

常见问题

如何在 Unity 中为 AI NPC 添加语音聊天?

在同一个 GameObject 上放置 Neocortex Smart Agent、Audio Source 和 Neocortex Audio Receiver。接收器录下玩家的声音,代理将其转写并以角色的声音回复。整个过程无需代码,按键说话只是一个设置。

Unity 的语音识别能在 WebGL 中工作吗?

Unity 的 Microphone 类在浏览器中无法工作。Neocortex SDK 通过其 WebGL 模板把浏览器的麦克风引入 Unity,因此语音 NPC 可以在通过 HTTPS 提供的网页构建版本中运行。

NPC 语音聊天应该用按键说话还是语音检测?

按键说话永远不会打断玩家,适合 PC 和手柄游戏。语音检测则解放双手,适合 VR。Neocortex Audio Receiver 两者都支持:默认是语音检测,切换一个开关即可改为按键说话。

Unity 中的 AI NPC 能做口型同步吗?

可以。为角色添加 Neocortex Face Animator。它根据说出的文字,通过 ARKit 命名的混合形状来移动嘴部,Ready Player Me 的虚拟形象都具备这些形状。

语音 NPC 能在 Android 和 iOS 上运行吗?

可以。Neocortex Audio Receiver 会在 Android 和 iOS 上自行请求麦克风权限,同一个组件也适用于桌面端和 WebGL。

相关文章

继续阅读