Neocortex Logo

Speech-to-Text, LLM, Text-to-Speech: jak działa głos NPC z AI

Jak działa mówiący NPC z AI: speech-to-text słyszy gracza, LLM pisze odpowiedź, text-to-speech ją wypowiada. STT vs TTS, opóźnienie i co zbudować.

Sercan AltundasFounder of Neocortex

· 8 min czytania

Jak działa mówiący NPC z AI: speech-to-text słyszy gracza, LLM pisze odpowiedź, text-to-speech ją wypowiada. STT vs TTS, opóźnienie i co zbudować.

Mówiący NPC z AI to trzy modele połączone jeden po drugim: speech-to-text słyszy gracza, model językowy pisze odpowiedź, a text-to-speech wypowiada ją na głos. Każdy poradnik silnika w tej serii opiera się na tym łańcuchu, więc ten przewodnik wyjaśnia każdą część, skąd bierze się opóźnienie i jak Neocortex prowadzi całość za jedną postacią.

Trzy etapy głosu NPC z AI

1. Speech-to-text (STT): słyszenie gracza

Gra nagrywa mikrofon i wysyła dźwięk do modelu rozpoznawania mowy, który zwraca tekst. Liczą się tu dwa wybory:

  • Push-to-talk albo wykrywanie głosu. Push-to-talk to przycisk, który gracz trzyma podczas mówienia. Wykrywanie aktywności głosowej (VAD) nasłuchuje cały czas i decyduje, kiedy gracz zaczął i skończył. Push-to-talk jest prostszy i nigdy nikomu nie przerywa. VAD wydaje się bardziej naturalny, zwłaszcza w VR, ale wymaga progu ciszy, który trzeba dostroić.
  • Słownictwo. Modele mowy potykają się na wymyślonych nazwach. Jeśli twój świat ma miasto Varrowmere, model może usłyszeć „barrel mere”. Podanie rozpoznawaczowi krótkiej listy twoich nazw własnych rozwiązuje większość problemów.

2. Model językowy: pisanie odpowiedzi

Transkrypcja trafia do dużego modelu językowego razem z wszystkim, co czyni postać tym, kim jest: osobowością, tym, co wie, dotychczasową rozmową i tym, co dzieje się w grze. Model pisze następną kwestię.

W grze zwykły tekst to za mało. Chcesz też wiedzieć, jak postać się czuje, żeby twarz i animacja mogły pasować, i czy postanowiła coś zrobić, na przykład otworzyć bramę albo przekazać przedmiot. Tu większość samodzielnych konfiguracji się komplikuje, bo kończysz na parsowaniu wolnego tekstu w poszukiwaniu wskazówek.

3. Text-to-speech (TTS): wypowiadanie na głos

Tekst odpowiedzi trafia do modelu głosowego, który zwraca dźwięk. Dobry TTS dla postaci potrzebuje głosu, który pasuje (szorstki kowal, nerwowy urzędnik), emocji podążających za kwestią i obsługi języków, którymi mówią twoi gracze.

STT vs TTS: dwa końce tej samej rozmowy

Ludzie często szukają „STT vs TTS”, jakby to były alternatywy. Nie są: STT to ucho, a TTS to usta.

Speech-to-text (STT)Text-to-speech (TTS)
KierunekGłos gracza na tekstTekst postaci na głos
WejścieDźwięk z mikrofonuOdpowiedź napisana przez LLM
Co może pójść źlePrzesłyszane nazwy, szum tła, urwane zdaniaPłaska dykcja, złe wymawianie, wolny pierwszy dźwięk
Co dostrajaćPush-to-talk lub VAD, próg ciszy, słownictwoWybór głosu, emocje, strumieniowanie

Postać, która tylko pisze, nie potrzebuje żadnego z nich. Postać, do której gracze mówią, ale która odpowiada tekstem, potrzebuje STT. Postać, która wypowiada skryptowane kwestie, potrzebuje TTS. Otwarta rozmowa głosowa potrzebuje obu, plus model pośrodku.

Skąd bierze się opóźnienie

Gracze zauważają pauzę dłuższą niż około sekundę. Całkowite czekanie to mniej więcej:

  1. Czekanie, aż mieć pewność, że gracz przestał mówić (próg ciszy VAD albo puszczenie push-to-talk).
  2. Transkrypcja dźwięku.
  3. Model pisze pierwsze słowa.
  4. Model głosowy tworzy pierwszy dźwięk.

Uruchamianie tego jeden po drugim, czekając, aż każdy etap w pełni się skończy, prowadzi do pauz trzy- albo czterosekundowych. Rozwiązaniem jest strumieniowanie: zacznij mówić pierwsze zdanie, podczas gdy reszta odpowiedzi jest jeszcze pisana. Nasz przewodnik po opóźnieniu przechodzi przez każdy etap z liczbami.

Jak Neocortex prowadzi ten potok

W Neocortex nie łączysz ręcznie trzech usług. Budujesz postać w edytorze w przeglądarce z jej osobowością, bazą wiedzy, emocjami, działaniami i głosem, a SDK obsługuje cały łańcuch:

  • Speech-to-text dla głosu gracza, w ponad 20 językach, z jednym komponentem mikrofonu w Unity, Unreal i Godot. Węzeł Vocabulary zawiera listę nazw z twojego świata, więc „Varrowmere” dociera jako Varrowmere.
  • Odpowiedź wraca oznaczona emocją, taką jak HAPPY, CURIOUS czy ANNOYED, plus działaniami, które postać wybrała, więc twoja gra nigdy nie parsuje wolnego tekstu.
  • Text-to-speech głosem samej postaci. W Unity, Godot i Web SDK strumieniuje, więc postać zaczyna mówić, zanim cała odpowiedź jest gotowa.

Jeśli wolisz wywołać to sam, Web API robi to samo przez HTTP. Tura tekstowa to jedno żądanie:

curl -X POST https://api.neocortex.link/v3/chat \
  -H "x-api-key: $NEOCORTEX_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "characterIds": ["CHARACTER_ID"], "message": "Is the north road safe?" }'

Odpowiedź zawiera sessionId i tablicę messages, gdzie każda wiadomość ma lines (każda z text i emotion), actions oraz flowState. Odeślij sessionId z następną wiadomością, by kontynuować rozmowę.

Wybór tego, czego potrzebuje twój NPC

Nie każdy NPC potrzebuje całego łańcucha:

  • Postacie w tle mogą zostać przy zaprojektowanych okrzykach. Nie trzeba AI.
  • Zleceniodawcy i sprzedawcy dobrze działają jako czat tekstowy z TTS, więc gracze piszą, a postać mówi.
  • Towarzysze i postacie w VR najbardziej korzystają z pełnego głosu, bo gracze już mówią na głos albo mają zajęte ręce.
  • Dostępność. Wejście głosowe pomaga graczom, którym trudno pisać, a mówione odpowiedzi pomagają tym, którym trudno czytać. Oferuj oba kierunki jako opcje, nie wymagania.

Zbuduj w swoim silniku

Każdy poradnik silnika w tej serii konfiguruje ten sam potok krok po kroku:

Wszystkie są zebrane w naszym przewodniku po budowaniu NPC AI.

Często zadawane pytania

Jaka jest różnica między STT a TTS?

Działają w przeciwnych kierunkach. Speech-to-text (STT) zamienia głos gracza na tekst, który gra może odczytać, a text-to-speech (TTS) zamienia napisaną odpowiedź postaci na dźwięk. Mówiący NPC potrzebuje obu, z modelem językowym pośrodku.

Czy do mówiącego NPC potrzebuję LLM?

Tylko wtedy, gdy NPC ma odpowiadać na rzeczy, których nie zaskryptowałeś. Nagrane wcześniej kwestie nie potrzebują żadnego modelu. Do otwartej rozmowy potrzebujesz STT, LLM i TTS, a Neocortex prowadzi wszystkie trzy za jedną postacią.

Jak szybko mówiący NPC z AI może odpowiedzieć?

Opóźnienie to suma: usłyszenia, że gracz skończył, transkrypcji, napisania pierwszych słów i ich wypowiedzenia. To strumieniowanie każdego etapu do następnego zbliża wynik do jednej sekundy. Neocortex wypowiada odpowiedź, zanim jest jeszcze w pełni napisana.

Czy mogę użyć własnych głosów dla NPC z AI?

Tak. Neocortex ma bibliotekę gotowych głosów, a własne głosy są dostępne w planie Pro (5) i Team (20). Każda postać zachowuje swój głos w Unity, Unreal, Godot i w sieci.

Czy czat głosowy z NPC z AI działa offline?

Tylko wtedy, gdy wszystkie trzy modele działają na urządzeniu gracza. Neocortex działa domyślnie w chmurze, a studia mogą uzgodnić środowisko uruchomieniowe na urządzeniu w ramach planu Custom.

Podobne artykuły

Czytaj dalej