Neocortex Logo

语音转文本、LLM、文本转语音:AI NPC语音如何工作

有语音的AI NPC如何工作:语音转文本听取玩家的话,LLM编写回复,文本转语音将其说出。STT与TTS的区别、延迟以及该搭建什么。

Sercan AltundasFounder of Neocortex

· 阅读约 8 分钟

有语音的AI NPC如何工作:语音转文本听取玩家的话,LLM编写回复,文本转语音将其说出。STT与TTS的区别、延迟以及该搭建什么。

一个有语音的AI NPC由三个模型依次组成:语音转文本负责听取玩家的话,语言模型负责编写回复,文本转语音负责把回复说出来。本系列中的每一篇引擎教程都以这条链路为基础,因此本指南会解释每个环节,说明延迟从何而来,以及Neocortex如何通过一个角色完成整个流程。

AI NPC语音流水线的三个阶段

1. 语音转文本(STT):听取玩家

游戏录制麦克风并将音频发送给语音识别模型,后者返回文本。这里有两个重要的选择:

  • **按键说话或语音检测。**按键说话是玩家在说话时按住的按钮。语音活动检测(VAD)则一直在监听,并自行判断玩家何时开始和结束说话。按键说话更简单,也永远不会打断任何人。VAD感觉更自然,在VR中尤其如此,但需要你调节静音阈值。
  • **词汇表。**语音模型常常会听错虚构的名字。如果你的世界中有一个叫Varrowmere的城镇,模型可能会听成"barrel mere"。给识别器提供一份简短的专有名词列表,就能解决大部分问题。

2. 语言模型:编写回复

转写的文本会连同所有决定角色身份的内容一起发送给大型语言模型:性格、所知道的事情、到目前为止的对话,以及游戏中正在发生的事。模型编写下一句台词。

对于游戏而言,纯文本是不够的。你还需要知道角色的感受,以便面部和动画能与之匹配,还需要知道角色是否决定做某件事,例如打开一扇门或交出一件物品。大多数自行搭建的方案在这里会变得混乱,因为你最终不得不从自由文本中解析线索。

3. 文本转语音(TTS):把它说出来

回复文本被发送给语音模型,后者返回音频。适合角色的TTS需要一个相称的声音(脾气暴躁的铁匠,紧张的职员)、跟随台词变化的情绪,以及对玩家所使用语言的支持。

STT与TTS:同一段对话的两端

人们常常把"STT与TTS"当作两个可以二选一的东西来搜索。其实它们并不是替代关系:STT是耳朵,TTS是嘴巴。

语音转文本(STT)文本转语音(TTS)
方向玩家的声音转为文本角色的文本转为声音
输入麦克风音频LLM编写的回复
可能出错的地方听错名字、背景噪音、句子被截断语气平淡、发音错误、首段音频太慢
需要调节的内容按键说话或VAD、静音阈值、词汇表声音选择、情绪、流式处理

只打字的角色两者都不需要。玩家对其说话、但以文字回答的角色需要STT。说预先写好台词的角色需要TTS。开放式语音对话则两者都需要,中间还要有模型。

延迟从何而来

玩家会注意到超过大约一秒的停顿。总等待时间大致包括:

  1. 等待确认玩家已经停止说话(VAD的静音阈值,或松开按键说话的按钮)。
  2. 转写音频。
  3. 模型写出第一个词。
  4. 语音模型生成第一段音频。

如果这些步骤依次运行,每一步都要完全结束后才开始下一步,就会出现三到四秒的停顿。解决办法是流式处理:在回复的其余部分还在编写时,就开始朗读第一句。我们的延迟指南用具体数字逐一介绍了每个阶段。

Neocortex如何运行这条流水线

使用Neocortex,你无需把三个服务拼接在一起。你可以在浏览器编辑器中构建角色,设置它的性格、知识库、情绪、动作和声音,SDK会处理整个链路:

  • 语音转文本用于玩家的语音,支持20多种语言,在Unity、Unreal和Godot中只需一个麦克风组件。词汇(Vocabulary)节点列出你世界中的名字,因此"Varrowmere"会被正确识别为Varrowmere。
  • 回复返回时会附带情绪标签,例如HAPPY、CURIOUS或ANNOYED,以及角色选择的所有动作,因此你的游戏无需解析自由文本。
  • 文本转语音使用角色自己的声音。在Unity、Godot和Web SDK中,它是流式的,因此角色在整段回复准备好之前就能开始说话。

如果你更愿意自己调用,Web API可以通过HTTP完成同样的工作。一次文本轮次就是一个请求:

curl -X POST https://api.neocortex.link/v3/chat \
  -H "x-api-key: $NEOCORTEX_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "characterIds": ["CHARACTER_ID"], "message": "Is the north road safe?" }'

回复中包含一个sessionId和一个messages数组,其中每条消息都有lines(每行包含text和emotion)、actions以及flowState。在下一条消息中将sessionId发送回去,即可继续对话。

选择你的NPC需要什么

并非每个NPC都需要完整的链路:

  • 背景角色可以只使用预先编写的短台词,无需AI。
  • 任务发布者和店主适合文字聊天加TTS,即玩家打字,角色说话。
  • 同伴和VR角色最能从完整语音中受益,因为玩家本来就在大声说话,或者双手正忙。
  • **无障碍。**语音输入对于觉得打字困难的玩家有帮助,语音回复则对觉得阅读困难的玩家有帮助。应将两种方向都作为可选项提供,而不是强制要求。

在你的引擎中搭建

本系列中的每一篇引擎指南都会一步步搭建相同的流水线:

这些内容都收录在我们的AI NPC搭建指南中。

常见问题

STT和TTS有什么区别?

它们的方向相反。语音转文本(STT)把玩家的声音转换为游戏可以读取的文本,文本转语音(TTS)则把角色书面的回复转换为音频。有语音的NPC两者都需要,中间还要有语言模型。

会说话的NPC一定需要LLM吗?

只有当NPC需要回答你没有编写过的内容时才需要。预先录制的台词完全不需要模型。开放式对话则需要STT、LLM和TTS,而Neocortex可以通过一个角色运行这三者。

有语音的AI NPC能多快作答?

延迟等于听完玩家说话、转写、写出第一个词并将其说出来所用时间的总和。让每个阶段流式地接入下一个阶段,才能让延迟接近一秒。Neocortex会在回复仍在编写时就开始朗读。

我可以为AI NPC使用自己的声音吗?

可以。Neocortex提供一个现成声音库,Pro套餐(5个)和Team套餐(20个)可以使用自定义声音。每个角色在Unity、Unreal、Godot和网页中都保留自己的声音。

AI NPC的语音聊天可以离线使用吗?

只有当三个模型都在玩家的设备上运行时才可以。Neocortex默认在云端运行,工作室可以通过定制套餐安排设备端运行时。

相关文章

继续阅读