Как добавить голосовой чат к ИИ-NPC в Unity
Голосовой чат для ИИ-NPC в Unity: ввод с микрофона с определением голоса или push-to-talk, устные ответы, лип-синк и настройка для WebGL, Android и iOS.
Sercan AltundasFounder of Neocortex
· 9 мин чтения

Печатать персонажу - нормально. А говорить с ним и слышать ответ его собственным голосом - совсем другая игра. Это руководство добавляет полноценный голосовой чат к ИИ-NPC в Unity с SDK Neocortex: микрофон игрока на входе, устный ответ на выходе, плюс лип-синк и детали платформ, на поиск которых обычно уходит неделя.
Как голосовой чат работает в SDK
Один голосовой ход проходит три этапа: распознавание речи слышит игрока, персонаж пишет ответ, а синтез речи его произносит. Наше руководство по голосовому конвейеру ИИ-NPC объясняет каждый этап. В Unity не нужно соединять их самостоятельно: SDK ведёт всю цепочку с помощью трёх компонентов на одном GameObject.
| Компонент | Задача |
|---|---|
| Neocortex Smart Agent | Персонаж: отправляет запись и получает ответ |
| Neocortex Audio Receiver | Микрофон на десктопе, Android, iOS и WebGL |
| Audio Source | Место, где звучит голос персонажа |
Если SDK ещё не настроен, начните с как добавить ИИ-персонажа в игру на Unity.
Шаг 1: голосовой NPC без кода
Добавьте три компонента на GameObject вашего персонажа и выберите персонажа в выпадающем списке Smart Agent. При включённом Auto Voice Input (по умолчанию) агент находит приёмник, отправляет каждую запись как голосовое сообщение и снова открывает микрофон после каждого ответа. Нажмите Play и говорите.
Самый быстрый путь - правый клик в Hierarchy > Neocortex > Complete Voice Chat, который создаёт ту же конструкцию с панелью чата и кнопкой микрофона.
Шаг 2: выберите определение голоса или push-to-talk
Audio Receiver по умолчанию слушает с определением голоса. Три настройки его формируют:
- Amplitude Threshold (по умолчанию 0,1): насколько громко должен говорить игрок, чтобы это считалось речью. Повысьте в шумных помещениях.
- Max Wait Time (по умолчанию 1 секунда): сколько тишины завершает предложение. Меньше ощущается быстрее, но обрывает медленно говорящих.
- Lead In (по умолчанию 0,3 секунды): звук, который сохраняется непосредственно перед тем, как игрок начал говорить, чтобы первые слоги не обрезались.
Для push-to-talk переключите приёмник и запускайте и останавливайте его из собственного ввода. Здесь используется Input System от Unity:
using UnityEngine;
using UnityEngine.InputSystem;
using Neocortex;
public class PushToTalk : MonoBehaviour
{
[SerializeField] private NeocortexAudioReceiver microphone;
private void Start() => microphone.SetPushToTalk(true);
private void Update()
{
var keyboard = Keyboard.current;
if (keyboard == null) return;
if (keyboard.vKey.wasPressedThisFrame) microphone.StartMicrophone();
if (keyboard.vKey.wasReleasedThisFrame) microphone.StopMicrophone();
}
}Отпускание V завершает запись, и агент сразу её отправляет. Для кнопки на экране Neocortex Push To Talk Button из SDK делает то же самое при нажатии и отпускании, а Neocortex Microphone Dropdown позволяет игрокам выбрать устройство.
Шаг 3: настройте устный ответ
Параметр Chat Lines Mode у Smart Agent определяет, как озвучивается ответ:
- PerLineAudio озвучивает каждую реплику, как только она начинается, поэтому длинный ответ начинает звучать быстро.
- SingleAudio озвучивает весь ответ одним клипом.
- Off передаёт клип через
OnAudioResponseReceivedи ничего не проигрывает, для вашей собственной аудиосистемы.
Речь передаётся потоком с наших серверов и начинает играть после доли секунды буферизации, поэтому персонаж начинает говорить, ещё до того как существует весь клип. Голос следует эмоции каждой реплики, поэтому встревоженная реплика звучит встревоженно.
Два события помогают с подачей: OnTranscriptionReceived даёт то, что сказал игрок, для субтитров или строки «Вы сказали», а OnChatLineStarted даёт каждую реплику ответа в момент её начала.
Шаг 4: добавьте лип-синк
Добавьте Neocortex Face Animator (Add Component > Neocortex) к персонажу. Он находит агента и аудиоисточник и двигает рот по произносимому тексту, используя смешивание форм с именами ARKit, например JawOpen и MouthFunnel. У аватаров Ready Player Me они есть сразу. Сопоставление эмоций с выражениями лица настраиваете вы; в нашем руководстве по эмоциональным ИИ-NPC есть практическая таблица.
Заметки о платформах
- Android и iOS: приёмник сам запрашивает разрешение на микрофон при первом использовании. Его событие On Permission Denied позволяет показать сообщение или перейти на текст.
- WebGL: микрофона Unity в браузерах не существует. Выберите шаблон Neocortex WebGL в Player Settings > Resolution and Presentation (SDK импортирует его в проект, а Tools > Neocortex > Import WebGL Template восстанавливает его). Размещайте сборку по HTTPS, потому что браузеры разрешают микрофон только на защищённых страницах. Если шаблон не выбран, консоль предупредит, что ввод с микрофона не будет работать.
- Десктоп: игрокам при первом запуске может понадобиться разрешить доступ к микрофону в настройках конфиденциальности операционной системы.
Частые проблемы
- NPC отвечает на собственный голос. На колонках микрофон может услышать ответ. Определение голоса снова открывается после окончания ответа, но push-to-talk или наушники полностью этого избегают.
- Игроков обрывают на полуслове. Немного увеличьте Max Wait Time или переключитесь на push-to-talk.
- Короткие щелчки запускают ответы. Звуки короче 0,15 секунды уже игнорируются. Повысьте Amplitude Threshold, если фоновый шум всё равно проходит.
- В веб-сборке ничего не происходит. Сначала проверьте шаблон WebGL и HTTPS.
Что дальше
Голос - место, где задержка заметнее всего, поэтому прочитайте, как получить голосовые ответы ИИ-NPC быстрее секунды. Чтобы озвучить заготовленные реплики тем же голосом, смотрите синтез речи для диалогов NPC в Unity, а для шлемов - ИИ-персонажи в игре для Meta Quest. Все руководства собраны в гиде по созданию ИИ-NPC.
Частые вопросы
Как добавить голосовой чат с ИИ-NPC в Unity?
Поставьте Neocortex Smart Agent, Audio Source и Neocortex Audio Receiver на один GameObject. Приёмник записывает игрока, агент расшифровывает запись и отвечает голосом персонажа. Это работает без кода, а push-to-talk - одна настройка.
Работает ли распознавание речи Unity в WebGL?
Класс Microphone в Unity не работает в браузерах. SDK Neocortex подключает микрофон браузера к Unity через шаблон WebGL, поэтому голосовые NPC работают в веб-сборках, которые открыты по HTTPS.
Push-to-talk или определение голоса для голосового чата с NPC?
Push-to-talk никогда не обрывает игрока и подходит для игр на ПК и с геймпадом. Определение голоса работает без рук, что подходит для VR. Neocortex Audio Receiver делает и то и другое: определение голоса по умолчанию, push-to-talk одним переключателем.
Может ли ИИ-NPC в Unity делать лип-синк?
Да. Добавьте Neocortex Face Animator к персонажу. Он двигает рот по произносимому тексту на смешиваниях форм с именами ARKit, которые есть у аватаров Ready Player Me.
Работают ли голосовые NPC на Android и iOS?
Да. Neocortex Audio Receiver сам запрашивает разрешение на микрофон на Android и iOS, а тот же компонент работает на десктопе и в WebGL.






