Neocortex Logo

Jak dodać czat głosowy do postaci AI NPC w Unity

Dodaj czat głosowy do postaci AI NPC w Unity: wejście z mikrofonu z wykrywaniem głosu lub nagrywaniem na przycisk, odpowiedzi mówione, synchronizacja ust oraz konfiguracja WebGL, Androida i iOS.

Sercan AltundasFounder of Neocortex

· 9 min czytania

Dodaj czat głosowy do postaci AI NPC w Unity: wejście z mikrofonu z wykrywaniem głosu lub nagrywaniem na przycisk, odpowiedzi mówione, synchronizacja ust oraz konfiguracja WebGL, Androida i iOS.

Pisanie do postaci jest w porządku. Mówienie do niej i słyszenie odpowiedzi jej własnym głosem to już zupełnie inna gra. Ten przewodnik dodaje pełny czat głosowy do postaci AI NPC w Unity przy użyciu SDK Neocortex: mikrofon gracza na wejściu, mówiona odpowiedź na wyjściu, a do tego synchronizacja ust i szczegóły platform, których zwykle szuka się tygodniami.

Jak działa czat głosowy w SDK

Jedna tura rozmowy głosowej przechodzi przez trzy etapy: zamiana mowy na tekst słyszy gracza, postać pisze odpowiedź, a zamiana tekstu na mowę ją wypowiada. Nasz przewodnik potoku głosowego AI NPC wyjaśnia każdy z nich. W Unity nie podłączasz ich sam: SDK obsługuje cały łańcuch dzięki trzem komponentom na jednym GameObjectcie.

KomponentZadanie
Neocortex Smart AgentPostać: wysyła nagranie, odbiera odpowiedź
Neocortex Audio ReceiverMikrofon na desktopie, Androidzie, iOS i w WebGL
Audio SourceMiejsce, w którym odtwarzany jest głos postaci

Jeśli nie skonfigurowałeś jeszcze SDK, zacznij od dodawania postaci AI do gry w Unity.

Krok 1: głosowy NPC bez kodu

Dodaj trzy komponenty do GameObjectu swojej postaci i wybierz postać w liście rozwijanej Smart Agent. Gdy Auto Voice Input jest włączone (domyślnie), agent znajduje odbiornik, wysyła każde nagranie jako wiadomość głosową i ponownie otwiera mikrofon po każdej odpowiedzi. Naciśnij Play i rozmawiaj.

Najszybsza droga to kliknij prawym przyciskiem w Hierarchy > Neocortex > Complete Voice Chat, co buduje ten sam układ wraz z panelem czatu i przyciskiem mikrofonu.

Krok 2: wybierz wykrywanie głosu lub nagrywanie na przycisk

Audio Receiver domyślnie nasłuchuje z wykrywaniem głosu. Trzy ustawienia go kształtują:

  • Amplitude Threshold (domyślnie 0,1): jak głośno gracz musi mówić, by to uznać za mówienie. Podnieś w głośnych pomieszczeniach.
  • Max Wait Time (domyślnie 1 sekunda): ile ciszy kończy zdanie. Krótsza wartość wydaje się szybsza, ale ucina powolnych mówców.
  • Lead In (domyślnie 0,3 sekundy): dźwięk zachowywany tuż przed tym, jak gracz zaczął mówić, żeby nie obciąć pierwszych sylab.

Do nagrywania na przycisk przełącz odbiornik i uruchamiaj oraz zatrzymuj go z własnego wejścia. Ten kod używa Input System Unity:

using UnityEngine;
using UnityEngine.InputSystem;
using Neocortex;

public class PushToTalk : MonoBehaviour
{
    [SerializeField] private NeocortexAudioReceiver microphone;

    private void Start() => microphone.SetPushToTalk(true);

    private void Update()
    {
        var keyboard = Keyboard.current;
        if (keyboard == null) return;
        if (keyboard.vKey.wasPressedThisFrame) microphone.StartMicrophone();
        if (keyboard.vKey.wasReleasedThisFrame) microphone.StopMicrophone();
    }
}

Puszczenie V kończy nagrywanie, a agent wysyła je od razu. Dla przycisku na ekranie Neocortex Push To Talk Button robi to samo przy naciśnięciu i puszczeniu, a Neocortex Microphone Dropdown pozwala graczom wybrać urządzenie.

Krok 3: ukształtuj mówioną odpowiedź

Chat Lines Mode w Smart Agent decyduje, jak odpowiedź jest wypowiadana:

  • PerLineAudio wypowiada każdą kwestię, gdy się zaczyna, więc długa odpowiedź szybko zaczyna brzmieć.
  • SingleAudio wypowiada całą odpowiedź jako jeden klip.
  • Off przekazuje ci klip przez OnAudioResponseReceived i nic nie odtwarza, dla twojego własnego systemu audio.

Mowa płynie z naszych serwerów i zaczyna się odtwarzać po ułamku sekundy bufora, więc postać zaczyna mówić, zanim powstanie cały klip. Głos podąża za emocją każdej kwestii, więc zaniepokojona kwestia brzmi zaniepokojonie.

Dwa zdarzenia pomagają w prezentacji: OnTranscriptionReceived daje to, co powiedział gracz, do napisów albo linii „powiedziałeś”, a OnChatLineStarted daje każdą kwestię odpowiedzi w chwili jej rozpoczęcia.

Krok 4: dodaj synchronizację ust

Dodaj Neocortex Face Animator (Add Component > Neocortex) do postaci. Znajduje agenta i audio source i porusza ustami na podstawie mówionego tekstu, używając blend shape'ów nazwanych jak w ARKit, takich jak JawOpen i MouthFunnel. Awatary Ready Player Me mają je od razu. Mapowanie emocji na wyrazy twarzy ustawiasz sam; nasz przewodnik po emocjonalnych NPC AI zawiera praktyczną tabelę.

Uwagi o platformach

  • Android i iOS: odbiornik sam prosi o uprawnienie do mikrofonu przy pierwszym użyciu. Jego zdarzenie On Permission Denied pozwala pokazać komunikat albo przejść na tekst.
  • WebGL: mikrofon Unity nie istnieje w przeglądarkach. Wybierz szablon Neocortex WebGL w Player Settings > Resolution and Presentation (SDK importuje go do projektu, a Tools > Neocortex > Import WebGL Template go przywraca). Hostuj build przez HTTPS, bo przeglądarki pozwalają na mikrofon tylko na bezpiecznych stronach. Jeśli szablon nie jest wybrany, konsola ostrzeże, że wejście z mikrofonu nie zadziała.
  • Desktop: gracze mogą za pierwszym razem potrzebować zezwolić na dostęp do mikrofonu w ustawieniach prywatności swojego systemu.

Częste problemy

  • NPC odpowiada na własny głos. Na głośnikach mikrofon może usłyszeć odpowiedź. Wykrywanie głosu otwiera się ponownie po zakończeniu odpowiedzi, ale nagrywanie na przycisk lub słuchawki całkowicie tego unikają.
  • Gracze są ucinani w połowie zdania. Podnieś trochę Max Wait Time albo przełącz na nagrywanie na przycisk.
  • Krótkie kliknięcia uruchamiają odpowiedzi. Dźwięki krótsze niż 0,15 sekundy są już ignorowane. Podnieś Amplitude Threshold, jeśli szum tła wciąż przechodzi.
  • Nic się nie dzieje w wersji webowej. Najpierw sprawdź szablon WebGL i HTTPS.

Co dalej

Głos to miejsce, w którym opóźnienie widać najbardziej, więc przeczytaj jak uzyskać odpowiedzi głosowe AI NPC poniżej sekundy. Żeby nagrać swoje skryptowane kwestie tym samym głosem, zobacz zamianę tekstu na mowę dla dialogów NPC w Unity, a dla gogli zobacz postacie AI w grze na Meta Quest. Wszystkie poradniki są w przewodniku po budowaniu NPC AI.

Najczęściej zadawane pytania

Jak dodać czat głosowy z postacią AI NPC w Unity?

Umieść Neocortex Smart Agent, Audio Source i Neocortex Audio Receiver na jednym GameObjectcie. Odbiornik nagrywa gracza, agent transkrybuje to i odpowiada głosem postaci. Działa bez kodu, a nagrywanie na przycisk to jedno ustawienie.

Czy rozpoznawanie mowy Unity działa w WebGL?

Klasa Microphone w Unity nie działa w przeglądarkach. SDK Neocortex przenosi mikrofon przeglądarki do Unity przez swój szablon WebGL, więc głosowe NPC działają w wersjach webowych hostowanych przez HTTPS.

Nagrywanie na przycisk czy wykrywanie głosu w czacie NPC?

Nagrywanie na przycisk nigdy nie ucina graczy i pasuje do gier na PC i pada. Wykrywanie głosu działa bez rąk, co pasuje do VR. Neocortex Audio Receiver robi oba: domyślnie wykrywanie głosu, a nagrywanie na przycisk przełącznikiem.

Czy postać AI w Unity może synchronizować usta?

Tak. Dodaj do postaci Neocortex Face Animator. Porusza ustami na podstawie mówionego tekstu, używając blend shape'ów nazwanych jak w ARKit, które mają awatary Ready Player Me.

Czy głosowe NPC działają na Androidzie i iOS?

Tak. Neocortex Audio Receiver sam prosi o uprawnienie do mikrofonu na Androidzie i iOS, a ten sam komponent działa na desktopie i w WebGL.

Podobne artykuły

Czytaj dalej