Sprach-NPCs mit der OpenAI Realtime API oder mit Neocortex
Sie können die OpenAI Realtime API selbst in Unity einbinden. Hier steht, was dieser Bau alles umfasst und wann eine spielfertige Plattform wie Neocortex Ihnen Wochen spart.
Neocortex TeamThe team behind Neocortex
· Aktualisiert 20. Okt. 2026 · 5 Min. Lesezeit

Am Freitagabend schließen Sie ein Mikrofon an gpt-realtime-2.1 an, schreiben einen System-Prompt für einen mürrischen Schmied, und am Sonntag beschimpft er Ihre Rüstungswahl laut. Es fühlt sich fertig an. Ist es aber nicht.
Sprach-zu-Sprach-Modelle machen aus einer sprechenden NPC-Demo eine Arbeit für einen Nachmittag. Diesen NPC an Spieler auszuliefern, dauert deutlich länger, und fast keine der zusätzlichen Arbeiten dreht sich um das Modell. Dieser Beitrag zeigt, was es bedeutet, Sprach-NPCs direkt auf der OpenAI Realtime API in Unity zu bauen, und wo Neocortex passt.
Was Ihnen die Realtime API bietet
- Sprach-zu-Sprach-Modelle, derzeit angeführt von gpt-realtime-2.1, mit einstellbarem Denkaufwand, Funktionsaufrufen und einem Kontextfenster von 128K.
- Verbindungen über WebRTC für Browser und Mobilgeräte, WebSocket von einem Server und SIP für Telefonate.
- Kurzlebige Client-Secrets, die Ihr Server für jede Sitzung erzeugt, damit der API-Schlüssel den Client nie erreicht.
- Eingebaute Stimmen, zehn an der Zahl. Die Stimme lässt sich nicht mehr ändern, sobald das Modell in einer Sitzung gesprochen hat.
- Eigene Stimmen aus Aufnahmen, nur für berechtigte Kunden, die sich an den OpenAI-Vertrieb wenden, mit einer Einwilligungsaufnahme des Stimmeninhabers.
- Preise nach Tokens für Audio und Text, Eingabe und Ausgabe.
- Sitzungen sind auf 60 Minuten begrenzt.
- Offizielle SDKs für JavaScript, Python, .NET, Java, Go und Ruby. Die Unity-Unterstützung kommt aus Community-Bibliotheken.
Selbst bauen mit OpenAI Realtime vs. Neocortex
| Selbst gebaut mit OpenAI Realtime | Neocortex | |
|---|---|---|
| Unity-Client | Selbst schreiben oder eine Community-Bibliothek übernehmen | Unity SDK, Unity 6, sechs Beispielszenen |
| Sitzungsverwaltung | Client-Secret-Server, Neuverbindung vor 60 Minuten | Keine Sitzungsgrenze: Jede Runde ist ein eigener API-Aufruf |
| Charaktergestaltung | Prompts im Code | Visueller Node-Editor |
| Stimme | Eingebaute Stimmen; eigene Stimmen für berechtigte Kunden | Stimmklonen und Stimmgestaltung bei Pro und Team |
| Spielaktionen | Funktionsaufrufe selbst verdrahten | Aktionen mit Ziel-IDs und Szenenobjekten eingebaut |
| Story-Struktur | Eigene Zustandsmaschine | Conversation Flows mit flowState-Checkpoints |
| Engines | Was Sie selbst bauen | Unity, Unreal Engine 5, Godot, Web-API |
| Modellwahl | OpenAI-Modelle | Für Sie verwaltet, plus lokale Modelle über Ollama in Unity für Textchat-Prototypen |
| Kosten | Audio- und Text-Tokens | Monatliche Tarife mit einem Nutzungskontingent |
Die acht Dinge, die Sie selbst bauen würden
Um einen Sprach-NPC auf der Realtime API auszuliefern, gehören diese Aufgaben Ihrem Team:
- Ein Unity-Audioclient, der das Mikrofon aufnimmt, streamt und die Antwort ohne Aussetzer abspielt, auch in WebGL-Builds, wo Unity keine eingebaute Mikrofoneingabe hat.
- Ein kleines Backend, das Spieler authentifiziert und für jede Sitzung ein Client-Secret ausstellt, weil Ihr API-Schlüssel nie in einem Spiel-Build landen darf.
- Charaktergestaltung als Prompts, die über jedes Modell-Update und über jeden Autor hinweg konsistent bleiben müssen.
- Sitzungslebenszyklus: vor der 60-Minuten-Grenze neu verbinden und das Gespräch über die Lücke hinweg weitertragen.
- Spielintegration, damit Funktionsaufrufe zu Aktionen an den richtigen Objekten in Ihrer Szene werden.
- Leitplanken, damit der Schmied ein Schmied bleibt, wenn Spieler versuchen, ihn in etwas anderes zu verwandeln.
- Kostenkontrolle, denn jede Sekunde Audio, die ein- und ausgeht, wird in Tokens abgerechnet.
- Wartung bei jeder Änderung von Modellen, Preisen oder APIs, über alle Engines, die Sie ausliefern.
Nichts davon ist unmöglich. Alles davon ist Zeit, die Sie nicht in Ihr Spiel stecken.
Ein Händler-NPC, auf beide Arten gebaut
Angenommen, der Spieler betritt einen Laden und fragt den Besitzer nach einem Heiltrank. Der Besitzer sollte in der Rolle antworten, verärgert klingen, wenn der Spieler vorher unhöflich war, und den Gegenstand tatsächlich übergeben.
Auf der Realtime API
Sie schreiben einen Prompt, der den Händler und das Warenlager beschreibt, und definieren eine Funktion give_item.
Ihr Backend stellt ein Client-Secret aus, Ihr Unity-Client öffnet die Sitzung, streamt die Stimme des Spielers und spielt die Antwort ab. Wenn das Modell give_item aufruft, findet Ihr Code den Trank und verschiebt ihn ins Inventar.
Für die Stimmung des Händlers verfolgen Sie die Unhöflichkeit im Spielzustand und fügen sie in den Prompt ein. Einen Animationshinweis ergänzen Sie, indem Sie den Text parsen oder das Modell um strukturierte Ausgaben bitten. Soll die Stimme einzigartig für diesen Charakter sein, prüfen Sie, ob Sie für eigene Stimmen berechtigt sind.
Auf Neocortex
Sie bauen den Händler im visuellen Editor: Persönlichkeit und eine Start-Emotion für das Temperament, Wissen für die Warenliste, eine Absicht für den Kauf und eine Aktion für die Übergabe des Gegenstands. Für ihn klonen oder gestalten Sie eine Stimme.
In Unity schickt Ihr Spiel nahe Objekte und aktuelle Ereignisse, einschließlich der unhöflichen Bemerkung des Spielers. Die Antwort kommt als Zeilen mit einem Emotions-Tag, damit der Animator weiß, dass er verärgert ist, dazu eine Aktion wie { "name": "GIVE_ITEM", "targetId": "potion_01" }, die Ihr Spiel ausführt.
Den gesamten Austausch testen Sie zuerst im Browser.
Beide Versionen nutzen ein leistungsfähiges Modell. Der Unterschied liegt darin, wo der Händler lebt: in einem Prompt-String und Verbindungscode, den Ihre Ingenieure pflegen, oder in einem Charakter, den ein Designer öffnen, lesen und ändern kann, ohne den Build anzufassen.
Das Spiel bauen, nicht die Leitungen
Die echten Kosten des Selbstbaus zeigen sich nach dem Start. Ein Modell-Update ändert, wie der Schmied formuliert, eine Preisänderung verschiebt Ihre Margen, und eine neue Unity-Version bricht die Community-Bibliothek, auf die Sie sich verlassen haben. Jedes davon landet bei Ihrem Team, meist genau dann, wenn es mit etwas anderem beschäftigt ist.
Die Realtime API ist ein Modell, um das Sie einen Sprach-Stack bauen. Neocortex ist dieser Sprach-Stack, mit Charakter, Engine-SDKs und Spiel-Schnittstellen bereits vorhanden und von uns gepflegt, während sich Modelle und APIs ändern. Designer bearbeiten Persönlichkeit, Emotion, Wissen, Absichten und Aktionen als Knoten in einem Graphen statt als Prompt, der im Code vergraben ist. Ihre Ingenieure verbringen ihre Wochen mit dem Spiel.
Die Angaben zu OpenAI wurden zuletzt im Oktober 2026 geprüft.
Häufige Fragen
Hat die OpenAI Realtime API ein Unity SDK?
Nein. Die offiziellen SDKs von OpenAI decken JavaScript, Python, .NET, Java, Go und Ruby ab, und die Unity-Unterstützung kommt aus Community-Bibliotheken. Neocortex hat ein Unity SDK für Unity 6 mit sechs Beispielszenen, dazu Unreal Engine 5, Godot und eine Web-API.
Wie lange kann eine OpenAI-Realtime-Sitzung dauern?
Realtime-Sitzungen sind auf 60 Minuten begrenzt. Lange Spielsitzungen brauchen deshalb eine Logik zum Neuverbinden und einen Weg, den Kontext weiterzutragen. Bei Neocortex ist jede Runde ein eigener API-Aufruf, und das SDK kümmert sich darum. Es gibt also keine Sitzung, die ablaufen kann, und Sie arbeiten mit Antworten und Aktionen.
Unterstützt die OpenAI Realtime API eigene Stimmen?
Eigene Stimmen aus Aufnahmen sind auf berechtigte Kunden beschränkt, die über den OpenAI-Vertrieb gehen. Alle anderen wählen aus den eingebauten Stimmen. Neocortex lässt Sie eine Stimme aus einer kurzen Probe klonen, für die Sie die Rechte haben, oder eine Stimme aus einer Textbeschreibung gestalten, mit 5 eigenen Stimmen bei Pro und 20 bei Team.
Wie wird die OpenAI Realtime API abgerechnet?
Nach Text- und Audio-Tokens, Eingabe und Ausgabe. Jede Sekunde Sprache erhöht also die Rechnung. Neocortex-Tarife sind monatlich und haben ein Nutzungskontingent.






