Neocortex Logo

Как добавить голосовой чат к ИИ-NPC в Unity

Голосовой чат для ИИ-NPC в Unity: ввод с микрофона с определением голоса или push-to-talk, устные ответы, лип-синк и настройка для WebGL, Android и iOS.

Sercan AltundasFounder of Neocortex

· 9 мин чтения

Голосовой чат для ИИ-NPC в Unity: ввод с микрофона с определением голоса или push-to-talk, устные ответы, лип-синк и настройка для WebGL, Android и iOS.

Печатать персонажу - нормально. А говорить с ним и слышать ответ его собственным голосом - совсем другая игра. Это руководство добавляет полноценный голосовой чат к ИИ-NPC в Unity с SDK Neocortex: микрофон игрока на входе, устный ответ на выходе, плюс лип-синк и детали платформ, на поиск которых обычно уходит неделя.

Как голосовой чат работает в SDK

Один голосовой ход проходит три этапа: распознавание речи слышит игрока, персонаж пишет ответ, а синтез речи его произносит. Наше руководство по голосовому конвейеру ИИ-NPC объясняет каждый этап. В Unity не нужно соединять их самостоятельно: SDK ведёт всю цепочку с помощью трёх компонентов на одном GameObject.

КомпонентЗадача
Neocortex Smart AgentПерсонаж: отправляет запись и получает ответ
Neocortex Audio ReceiverМикрофон на десктопе, Android, iOS и WebGL
Audio SourceМесто, где звучит голос персонажа

Если SDK ещё не настроен, начните с как добавить ИИ-персонажа в игру на Unity.

Шаг 1: голосовой NPC без кода

Добавьте три компонента на GameObject вашего персонажа и выберите персонажа в выпадающем списке Smart Agent. При включённом Auto Voice Input (по умолчанию) агент находит приёмник, отправляет каждую запись как голосовое сообщение и снова открывает микрофон после каждого ответа. Нажмите Play и говорите.

Самый быстрый путь - правый клик в Hierarchy > Neocortex > Complete Voice Chat, который создаёт ту же конструкцию с панелью чата и кнопкой микрофона.

Шаг 2: выберите определение голоса или push-to-talk

Audio Receiver по умолчанию слушает с определением голоса. Три настройки его формируют:

  • Amplitude Threshold (по умолчанию 0,1): насколько громко должен говорить игрок, чтобы это считалось речью. Повысьте в шумных помещениях.
  • Max Wait Time (по умолчанию 1 секунда): сколько тишины завершает предложение. Меньше ощущается быстрее, но обрывает медленно говорящих.
  • Lead In (по умолчанию 0,3 секунды): звук, который сохраняется непосредственно перед тем, как игрок начал говорить, чтобы первые слоги не обрезались.

Для push-to-talk переключите приёмник и запускайте и останавливайте его из собственного ввода. Здесь используется Input System от Unity:

using UnityEngine;
using UnityEngine.InputSystem;
using Neocortex;

public class PushToTalk : MonoBehaviour
{
    [SerializeField] private NeocortexAudioReceiver microphone;

    private void Start() => microphone.SetPushToTalk(true);

    private void Update()
    {
        var keyboard = Keyboard.current;
        if (keyboard == null) return;
        if (keyboard.vKey.wasPressedThisFrame) microphone.StartMicrophone();
        if (keyboard.vKey.wasReleasedThisFrame) microphone.StopMicrophone();
    }
}

Отпускание V завершает запись, и агент сразу её отправляет. Для кнопки на экране Neocortex Push To Talk Button из SDK делает то же самое при нажатии и отпускании, а Neocortex Microphone Dropdown позволяет игрокам выбрать устройство.

Шаг 3: настройте устный ответ

Параметр Chat Lines Mode у Smart Agent определяет, как озвучивается ответ:

  • PerLineAudio озвучивает каждую реплику, как только она начинается, поэтому длинный ответ начинает звучать быстро.
  • SingleAudio озвучивает весь ответ одним клипом.
  • Off передаёт клип через OnAudioResponseReceived и ничего не проигрывает, для вашей собственной аудиосистемы.

Речь передаётся потоком с наших серверов и начинает играть после доли секунды буферизации, поэтому персонаж начинает говорить, ещё до того как существует весь клип. Голос следует эмоции каждой реплики, поэтому встревоженная реплика звучит встревоженно.

Два события помогают с подачей: OnTranscriptionReceived даёт то, что сказал игрок, для субтитров или строки «Вы сказали», а OnChatLineStarted даёт каждую реплику ответа в момент её начала.

Шаг 4: добавьте лип-синк

Добавьте Neocortex Face Animator (Add Component > Neocortex) к персонажу. Он находит агента и аудиоисточник и двигает рот по произносимому тексту, используя смешивание форм с именами ARKit, например JawOpen и MouthFunnel. У аватаров Ready Player Me они есть сразу. Сопоставление эмоций с выражениями лица настраиваете вы; в нашем руководстве по эмоциональным ИИ-NPC есть практическая таблица.

Заметки о платформах

  • Android и iOS: приёмник сам запрашивает разрешение на микрофон при первом использовании. Его событие On Permission Denied позволяет показать сообщение или перейти на текст.
  • WebGL: микрофона Unity в браузерах не существует. Выберите шаблон Neocortex WebGL в Player Settings > Resolution and Presentation (SDK импортирует его в проект, а Tools > Neocortex > Import WebGL Template восстанавливает его). Размещайте сборку по HTTPS, потому что браузеры разрешают микрофон только на защищённых страницах. Если шаблон не выбран, консоль предупредит, что ввод с микрофона не будет работать.
  • Десктоп: игрокам при первом запуске может понадобиться разрешить доступ к микрофону в настройках конфиденциальности операционной системы.

Частые проблемы

  • NPC отвечает на собственный голос. На колонках микрофон может услышать ответ. Определение голоса снова открывается после окончания ответа, но push-to-talk или наушники полностью этого избегают.
  • Игроков обрывают на полуслове. Немного увеличьте Max Wait Time или переключитесь на push-to-talk.
  • Короткие щелчки запускают ответы. Звуки короче 0,15 секунды уже игнорируются. Повысьте Amplitude Threshold, если фоновый шум всё равно проходит.
  • В веб-сборке ничего не происходит. Сначала проверьте шаблон WebGL и HTTPS.

Что дальше

Голос - место, где задержка заметнее всего, поэтому прочитайте, как получить голосовые ответы ИИ-NPC быстрее секунды. Чтобы озвучить заготовленные реплики тем же голосом, смотрите синтез речи для диалогов NPC в Unity, а для шлемов - ИИ-персонажи в игре для Meta Quest. Все руководства собраны в гиде по созданию ИИ-NPC.

Частые вопросы

Как добавить голосовой чат с ИИ-NPC в Unity?

Поставьте Neocortex Smart Agent, Audio Source и Neocortex Audio Receiver на один GameObject. Приёмник записывает игрока, агент расшифровывает запись и отвечает голосом персонажа. Это работает без кода, а push-to-talk - одна настройка.

Работает ли распознавание речи Unity в WebGL?

Класс Microphone в Unity не работает в браузерах. SDK Neocortex подключает микрофон браузера к Unity через шаблон WebGL, поэтому голосовые NPC работают в веб-сборках, которые открыты по HTTPS.

Push-to-talk или определение голоса для голосового чата с NPC?

Push-to-talk никогда не обрывает игрока и подходит для игр на ПК и с геймпадом. Определение голоса работает без рук, что подходит для VR. Neocortex Audio Receiver делает и то и другое: определение голоса по умолчанию, push-to-talk одним переключателем.

Может ли ИИ-NPC в Unity делать лип-синк?

Да. Добавьте Neocortex Face Animator к персонажу. Он двигает рот по произносимому тексту на смешиваниях форм с именами ARKit, которые есть у аватаров Ready Player Me.

Работают ли голосовые NPC на Android и iOS?

Да. Neocortex Audio Receiver сам запрашивает разрешение на микрофон на Android и iOS, а тот же компонент работает на десктопе и в WebGL.

Похожие статьи

Читайте также