Głosowe NPC na OpenAI Realtime API a Neocortex
Możesz samodzielnie podpiąć OpenAI Realtime API do Unity. Oto wszystko, co ten build obejmuje i kiedy gotowa do gry platforma, jak Neocortex, oszczędza tygodnie.
Neocortex TeamThe team behind Neocortex
· Zaktualizowano 20 paź 2026 · 5 min czytania

W piątek wieczorem podłączasz mikrofon do gpt-realtime-2.1, piszesz prompt systemowy dla zrzędliwego kowala, a w niedzielę on głośno wyśmiewa twój wybór zbroi. Wygląda to na gotowe. Nie jest.
Modele mowy na mowę sprawiają, że demo mówiącego NPC to praca na popołudnie. Wydanie tego NPC graczom zajmuje znacznie dłużej, a prawie cała dodatkowa praca nie dotyczy modelu. Ten wpis opisuje, co obejmuje budowanie głosowych NPC bezpośrednio na OpenAI Realtime API w Unity i gdzie pasuje Neocortex.
Co daje Realtime API
- Modele mowy na mowę, na czele z gpt-realtime-2.1, z konfigurowalnym poziomem rozumowania, wywoływaniem funkcji i oknem kontekstu 128K.
- Połączenia przez WebRTC dla przeglądarek i telefonów, WebSocket z serwera oraz SIP dla rozmów telefonicznych.
- Krótkotrwałe sekrety klienta, które twój serwer tworzy dla każdej sesji, dzięki czemu klucz API zostaje poza kliencie.
- Wbudowane głosy, dziesięć sztuk. Głos nie może się zmienić, gdy model już się odezwał w sesji.
- Własne głosy z nagrań, dostępne tylko dla wybranych klientów, którzy kontaktują się z działem sprzedaży OpenAI, z nagraniem zgody od właściciela głosu.
- Ceny za tokeny dla audio i tekstu, wejścia i wyjścia.
- Sesje ograniczone do 60 minut.
- Oficjalne SDK dla JavaScript, Pythona, .NET, Javy, Go i Ruby. Obsługa Unity pochodzi z bibliotek społecznościowych.
Samodzielnie na OpenAI Realtime a Neocortex
| Samodzielnie na OpenAI Realtime | Neocortex | |
|---|---|---|
| Klient Unity | Napisz własny albo przyjmij bibliotekę społecznościową | SDK Unity, Unity 6, sześć przykładowych scen |
| Obsługa sesji | Serwer sekretów klienta, ponowne połączenie przed 60 minutami | Brak limitu sesji: każda tura to osobne wywołanie API |
| Projekt postaci | Prompty w kodzie | Wizualny edytor węzłów |
| Głos | Wbudowane głosy; własne głosy dla wybranych klientów | Klonowanie i projektowanie głosu w planach Pro i Team |
| Akcje w grze | Podłącz wywołania funkcji | Akcje z identyfikatorami celów i obiektami sceny wbudowane |
| Struktura historii | Własna maszyna stanów | Conversation Flows z punktami kontrolnymi flowState |
| Silniki | Cokolwiek zbudujesz | Unity, Unreal Engine 5, Godot, Web API |
| Wybór modelu | Modele OpenAI | Zarządzane za ciebie, plus lokalne modele przez Ollama w Unity do prototypów czatu tekstowego |
| Koszt | Tokeny audio i tekstu | Miesięczne plany z limitem użycia |
Osiem rzeczy, które zbudowałbyś sam
Żeby wydać głosowego NPC na Realtime API, twój zespół odpowiada za:
- Klienta audio w Unity, który przechwytuje mikrofon, strumieniuje go i odtwarza odpowiedź bez przerw, także w buildach WebGL, gdzie Unity nie ma wbudowanego wejścia mikrofonu.
- Mały backend, który uwierzytelnia graczy i tworzy sekret klienta dla każdej sesji, bo twój klucz API nigdy nie może trafić do buildu gry.
- Projekt postaci jako prompty, spójny przy każdej aktualizacji modelu i u każdego pisarza, który ich dotyka.
- Cykl życia sesji: ponowne połączenie przed limitem 60 minut i przeniesienie rozmowy przez tę przerwę.
- Integrację z grą, żeby wywołania funkcji zamieniały się w akcje na właściwych obiektach w scenie.
- Zabezpieczenia, żeby kowal pozostał kowalem, gdy gracze spróbują zrobić z niego kogoś innego.
- Kontrolę kosztów, bo każda sekunda audio na wejściu i wyjściu jest rozliczana w tokenach.
- Utrzymanie za każdym razem, gdy zmieniają się modele, ceny albo API, we wszystkich silnikach, na których wydajesz grę.
Żadna z tych rzeczy nie jest niemożliwa. Wszystkie to czas, którego nie poświęcasz na grę.
Sklepikarz NPC, zbudowany obiema drogami
Załóżmy, że gracz wchodzi do sklepu i prosi właściciela o miksturę leczniczą. Właściciel powinien odpowiedzieć w roli, być zirytowany, jeśli gracz był wcześniej niegrzeczny, i faktycznie wręczyć przedmiot.
Na Realtime API
Piszesz prompt opisujący sklepikarza i zapasy sklepu oraz definiujesz funkcję give_item.
Twój backend tworzy sekret klienta, klient Unity otwiera sesję, strumieniuje głos gracza i odtwarza odpowiedź. Gdy model wywoła give_item, twój kod znajduje miksturę i przenosi ją do ekwipunku.
Nastrój sklepikarza śledzisz w stanie gry, wstrzykujesz go do promptu i dodajesz wskazówkę animacji, parsując tekst albo prosząc model o strukturalne wyjście. Jeśli głos ma być unikalny dla tej postaci, sprawdzasz, czy kwalifikujesz się do własnych głosów.
Na Neocortex
Sklepikarza budujesz w wizualnym edytorze: Personality i początkowa Emotion dla temperamentu, Knowledge dla listy towarów, Intent do kupowania i Action do wręczenia przedmiotu. Dla niego klonujesz albo projektujesz głos.
W Unity twoja gra wysyła pobliskie obiekty i ostatnie zdarzenia, w tym niegrzeczną uwagę gracza. Odpowiedź przychodzi jako kwestie z tagiem emocji, więc animator wie, że jest zirytowany, a do tego akcja w rodzaju { "name": "GIVE_ITEM", "targetId": "potion_01" }, którą gra wykonuje.
Całą wymianę najpierw testujesz w przeglądarce.
Obie wersje używają zdolnego modelu. Różnica polega na tym, gdzie żyje sklepikarz: w łańcuchu promptu i kodzie spajającym, który utrzymują twoi inżynierowie, czy w postaci, którą projektant może otworzyć, przeczytać i zmienić bez dotykania buildu.
Buduj grę, nie hydraulikę
Realny koszt drogi samodzielnej ujawnia się po premierze. Aktualizacja modelu zmienia sposób, w jaki kowal formułuje zdania, zmiana ceny przesuwa twoje marże, a nowa wersja Unity psuje bibliotekę społecznościową, na której polegałeś. Każda z tych rzeczy spada na twój zespół, zwykle w chwili, gdy jest zajęty czymś innym.
Realtime API to model, wokół którego budujesz stos głosowy. Neocortex to właśnie ten stos, z gotową postacią, SDK dla silników i hakami do rozgrywki, utrzymywany przez nas wraz ze zmianami modeli i API. Projektanci edytują osobowość, emocje, wiedzę, intencje i akcje jako węzły w grafie, a nie jako prompt zakopany w kodzie, a twoi inżynierowie spędzają tygodnie na grze.
Szczegóły OpenAI sprawdzono ostatnio w październiku 2026 roku.
Najczęściej zadawane pytania
Czy OpenAI Realtime API ma SDK dla Unity?
Nie. Oficjalne SDK OpenAI obejmują JavaScript, Pythona, .NET, Javę, Go i Ruby, a obsługa Unity pochodzi z bibliotek społecznościowych. Neocortex ma SDK dla Unity 6 z sześcioma przykładowymi scenami, a także Unreal Engine 5, Godot i Web API.
Jak długo może trwać sesja OpenAI Realtime?
Sesje Realtime są ograniczone do 60 minut, więc długie sesje gry wymagają logiki ponownego połączenia i sposobu na przeniesienie kontekstu. Z Neocortex każda tura to osobne wywołanie API, a SDK się tym zajmuje, więc nie ma sesji, która może wygasnąć; pracujesz z odpowiedziami i akcjami.
Czy OpenAI Realtime API obsługuje własne głosy?
Własne głosy z nagrań są dostępne tylko dla wybranych klientów, którzy przechodzą przez dział sprzedaży OpenAI; reszta wybiera z wbudowanych głosów. Neocortex pozwala sklonować głos z krótkiej próbki, do której masz prawa, albo zaprojektować go z opisu tekstowego, z 5 własnymi głosami w planie Pro i 20 w planie Team.
Jak wyceniane jest OpenAI Realtime API?
Za tokeny tekstu i audio na wejściu i wyjściu, więc każda sekunda mowy dodaje do rachunku. Plany Neocortex są miesięczne z limitem użycia.






