Neocortex Logo

Głosowe NPC na OpenAI Realtime API a Neocortex

Możesz samodzielnie podpiąć OpenAI Realtime API do Unity. Oto wszystko, co ten build obejmuje i kiedy gotowa do gry platforma, jak Neocortex, oszczędza tygodnie.

Neocortex TeamThe team behind Neocortex

· Zaktualizowano 20 paź 2026 · 5 min czytania

Możesz samodzielnie podpiąć OpenAI Realtime API do Unity. Oto wszystko, co ten build obejmuje i kiedy gotowa do gry platforma, jak Neocortex, oszczędza tygodnie.

W piątek wieczorem podłączasz mikrofon do gpt-realtime-2.1, piszesz prompt systemowy dla zrzędliwego kowala, a w niedzielę on głośno wyśmiewa twój wybór zbroi. Wygląda to na gotowe. Nie jest.

Modele mowy na mowę sprawiają, że demo mówiącego NPC to praca na popołudnie. Wydanie tego NPC graczom zajmuje znacznie dłużej, a prawie cała dodatkowa praca nie dotyczy modelu. Ten wpis opisuje, co obejmuje budowanie głosowych NPC bezpośrednio na OpenAI Realtime API w Unity i gdzie pasuje Neocortex.

Co daje Realtime API

  • Modele mowy na mowę, na czele z gpt-realtime-2.1, z konfigurowalnym poziomem rozumowania, wywoływaniem funkcji i oknem kontekstu 128K.
  • Połączenia przez WebRTC dla przeglądarek i telefonów, WebSocket z serwera oraz SIP dla rozmów telefonicznych.
  • Krótkotrwałe sekrety klienta, które twój serwer tworzy dla każdej sesji, dzięki czemu klucz API zostaje poza kliencie.
  • Wbudowane głosy, dziesięć sztuk. Głos nie może się zmienić, gdy model już się odezwał w sesji.
  • Własne głosy z nagrań, dostępne tylko dla wybranych klientów, którzy kontaktują się z działem sprzedaży OpenAI, z nagraniem zgody od właściciela głosu.
  • Ceny za tokeny dla audio i tekstu, wejścia i wyjścia.
  • Sesje ograniczone do 60 minut.
  • Oficjalne SDK dla JavaScript, Pythona, .NET, Javy, Go i Ruby. Obsługa Unity pochodzi z bibliotek społecznościowych.

Samodzielnie na OpenAI Realtime a Neocortex

Samodzielnie na OpenAI RealtimeNeocortex
Klient UnityNapisz własny albo przyjmij bibliotekę społecznościowąSDK Unity, Unity 6, sześć przykładowych scen
Obsługa sesjiSerwer sekretów klienta, ponowne połączenie przed 60 minutamiBrak limitu sesji: każda tura to osobne wywołanie API
Projekt postaciPrompty w kodzieWizualny edytor węzłów
GłosWbudowane głosy; własne głosy dla wybranych klientówKlonowanie i projektowanie głosu w planach Pro i Team
Akcje w grzePodłącz wywołania funkcjiAkcje z identyfikatorami celów i obiektami sceny wbudowane
Struktura historiiWłasna maszyna stanówConversation Flows z punktami kontrolnymi flowState
SilnikiCokolwiek zbudujeszUnity, Unreal Engine 5, Godot, Web API
Wybór modeluModele OpenAIZarządzane za ciebie, plus lokalne modele przez Ollama w Unity do prototypów czatu tekstowego
KosztTokeny audio i tekstuMiesięczne plany z limitem użycia

Osiem rzeczy, które zbudowałbyś sam

Żeby wydać głosowego NPC na Realtime API, twój zespół odpowiada za:

  1. Klienta audio w Unity, który przechwytuje mikrofon, strumieniuje go i odtwarza odpowiedź bez przerw, także w buildach WebGL, gdzie Unity nie ma wbudowanego wejścia mikrofonu.
  2. Mały backend, który uwierzytelnia graczy i tworzy sekret klienta dla każdej sesji, bo twój klucz API nigdy nie może trafić do buildu gry.
  3. Projekt postaci jako prompty, spójny przy każdej aktualizacji modelu i u każdego pisarza, który ich dotyka.
  4. Cykl życia sesji: ponowne połączenie przed limitem 60 minut i przeniesienie rozmowy przez tę przerwę.
  5. Integrację z grą, żeby wywołania funkcji zamieniały się w akcje na właściwych obiektach w scenie.
  6. Zabezpieczenia, żeby kowal pozostał kowalem, gdy gracze spróbują zrobić z niego kogoś innego.
  7. Kontrolę kosztów, bo każda sekunda audio na wejściu i wyjściu jest rozliczana w tokenach.
  8. Utrzymanie za każdym razem, gdy zmieniają się modele, ceny albo API, we wszystkich silnikach, na których wydajesz grę.

Żadna z tych rzeczy nie jest niemożliwa. Wszystkie to czas, którego nie poświęcasz na grę.

Sklepikarz NPC, zbudowany obiema drogami

Załóżmy, że gracz wchodzi do sklepu i prosi właściciela o miksturę leczniczą. Właściciel powinien odpowiedzieć w roli, być zirytowany, jeśli gracz był wcześniej niegrzeczny, i faktycznie wręczyć przedmiot.

Na Realtime API

Piszesz prompt opisujący sklepikarza i zapasy sklepu oraz definiujesz funkcję give_item. Twój backend tworzy sekret klienta, klient Unity otwiera sesję, strumieniuje głos gracza i odtwarza odpowiedź. Gdy model wywoła give_item, twój kod znajduje miksturę i przenosi ją do ekwipunku. Nastrój sklepikarza śledzisz w stanie gry, wstrzykujesz go do promptu i dodajesz wskazówkę animacji, parsując tekst albo prosząc model o strukturalne wyjście. Jeśli głos ma być unikalny dla tej postaci, sprawdzasz, czy kwalifikujesz się do własnych głosów.

Na Neocortex

Sklepikarza budujesz w wizualnym edytorze: Personality i początkowa Emotion dla temperamentu, Knowledge dla listy towarów, Intent do kupowania i Action do wręczenia przedmiotu. Dla niego klonujesz albo projektujesz głos. W Unity twoja gra wysyła pobliskie obiekty i ostatnie zdarzenia, w tym niegrzeczną uwagę gracza. Odpowiedź przychodzi jako kwestie z tagiem emocji, więc animator wie, że jest zirytowany, a do tego akcja w rodzaju { "name": "GIVE_ITEM", "targetId": "potion_01" }, którą gra wykonuje. Całą wymianę najpierw testujesz w przeglądarce.

Obie wersje używają zdolnego modelu. Różnica polega na tym, gdzie żyje sklepikarz: w łańcuchu promptu i kodzie spajającym, który utrzymują twoi inżynierowie, czy w postaci, którą projektant może otworzyć, przeczytać i zmienić bez dotykania buildu.

Buduj grę, nie hydraulikę

Realny koszt drogi samodzielnej ujawnia się po premierze. Aktualizacja modelu zmienia sposób, w jaki kowal formułuje zdania, zmiana ceny przesuwa twoje marże, a nowa wersja Unity psuje bibliotekę społecznościową, na której polegałeś. Każda z tych rzeczy spada na twój zespół, zwykle w chwili, gdy jest zajęty czymś innym.

Realtime API to model, wokół którego budujesz stos głosowy. Neocortex to właśnie ten stos, z gotową postacią, SDK dla silników i hakami do rozgrywki, utrzymywany przez nas wraz ze zmianami modeli i API. Projektanci edytują osobowość, emocje, wiedzę, intencje i akcje jako węzły w grafie, a nie jako prompt zakopany w kodzie, a twoi inżynierowie spędzają tygodnie na grze.

Szczegóły OpenAI sprawdzono ostatnio w październiku 2026 roku.

Najczęściej zadawane pytania

Czy OpenAI Realtime API ma SDK dla Unity?

Nie. Oficjalne SDK OpenAI obejmują JavaScript, Pythona, .NET, Javę, Go i Ruby, a obsługa Unity pochodzi z bibliotek społecznościowych. Neocortex ma SDK dla Unity 6 z sześcioma przykładowymi scenami, a także Unreal Engine 5, Godot i Web API.

Jak długo może trwać sesja OpenAI Realtime?

Sesje Realtime są ograniczone do 60 minut, więc długie sesje gry wymagają logiki ponownego połączenia i sposobu na przeniesienie kontekstu. Z Neocortex każda tura to osobne wywołanie API, a SDK się tym zajmuje, więc nie ma sesji, która może wygasnąć; pracujesz z odpowiedziami i akcjami.

Czy OpenAI Realtime API obsługuje własne głosy?

Własne głosy z nagrań są dostępne tylko dla wybranych klientów, którzy przechodzą przez dział sprzedaży OpenAI; reszta wybiera z wbudowanych głosów. Neocortex pozwala sklonować głos z krótkiej próbki, do której masz prawa, albo zaprojektować go z opisu tekstowego, z 5 własnymi głosami w planie Pro i 20 w planie Team.

Jak wyceniane jest OpenAI Realtime API?

Za tokeny tekstu i audio na wejściu i wyjściu, więc każda sekunda mowy dodaje do rachunku. Plany Neocortex są miesięczne z limitem użycia.

Podobne artykuły

Czytaj dalej