Spiel-NPCs mit der Gemini Live API oder Neocortex bauen
Die Gemini Live API bewältigt Echtzeit-Sprache, aber ihre Unity-Unterstützung ist noch in der Vorschau. Was der Aufbau von NPCs darauf umfasst und wo Neocortex passt.
Neocortex TeamThe team behind Neocortex
· Aktualisiert 20. Okt. 2026 · 5 Min. Lesezeit

Ein Gemini-Live-NPC kann etwa zehn Minuten lang sprechen. Dann wird die Verbindung geschlossen.
Die Gemini Live API von Google streamt Audio zu einem Modell und zurück über einen zustandsbehafteten WebSocket. Für Spieleentwickler ist das verlockend: Sie richten ein Mikrofon darauf, geben ihr eine Persona, und schon haben Sie einen sprechenden NPC. Die Probleme beginnen an den Rändern, mit Sitzungsgrenzen, einem Unity-Weg, der noch in der Vorschau ist, und allem, was ein Spiel über eine Stimme hinaus braucht. Hier steht, was der Aufbau von NPCs darauf umfasst und wo Neocortex passt.
Sitzungsgrenzen, um die Sie herumbauen müssen
Google dokumentiert drei Grenzen, die jede Gemini-Live-Integration prägen. Spieler kümmert keine davon, und genau deshalb muss Ihr Code sie berücksichtigen.
15-Minuten-Audiositzungen
Ohne Kompression des Kontextfensters sind reine Audiositzungen auf 15 Minuten begrenzt, Sitzungen mit Audio und Video auf 2 Minuten. Die Kompression nutzt ein gleitendes Fenster, um eine Sitzung unbegrenzt zu verlängern. Dafür verliert das Modell nach und nach die ältesten Teile des Gesprächs. Bei einem Begleiter, der sich an den Anfang der Quest erinnern soll, ist das eine Entwurfsentscheidung und keine Einstellung.
10-Minuten-Verbindungen
Außerdem dauert eine Verbindung ungefähr 10 Minuten. Wenn sie endet, endet auch die Sitzung, sofern Sie sie nicht fortsetzen. Im Spiel heißt das: ein Neuverbinden mitten im Gespräch, und der Spieler darf die Naht nie hören.
Fortsetzungs-Handles
Um ein Neuverbinden zu überstehen, aktivieren Sie die Sitzungsfortsetzung. Der Server sendet Handles, und Sie übergeben das neueste beim Neuverbinden. Handles bleiben 2 Stunden nach dem Ende einer Sitzung gültig. Hinzu kommen kurzlebige Tokens, die Google für Client-Apps empfiehlt. Sie brauchen dann auch ein Backend, das jedem Client eines Spielers kurzlebige Zugangsdaten ausstellt.
Unity-Unterstützung über Firebase AI Logic
Googles Weg nach Unity führt über Firebase AI Logic. Die Unterstützung der Live API dort ist in der Vorschau: kein SLA, keine Regeln zur Abkündigung, und sie "könnte sich auf inkompatible Weise ändern". Das Unity SDK hat C#-Codebeispiele, aber sein Live-API-Schnellstart für Unity ist noch als "demnächst verfügbar" markiert.
Die Modellliste ist enger als die der Gemini API selbst. Über die Gemini Developer API listet Firebase Gemini 3.1 Flash Live Preview und Gemini 2.5 Native-Audio-Vorschauen. Über Googles Unternehmensplattform Agent Platform (früher Vertex AI) listet es Gemini 2.5 Live-Modelle und keine 3.x-Live-Modelle. Gemini 3.8 Live, das neueste Live-Modell der Gemini API, steht auf keiner der beiden Listen.
Ein Unity-Team wählt also zwischen einem SDK in der Vorschau mit älteren Modellen oder einem eigenen WebSocket-Client gegen die rohe API.
Was Gemini Live kostet
Live-Modelle werden pro Token abgerechnet, für Audio werden Entsprechungen pro Minute veröffentlicht. Im bezahlten Tarif kostet Audio-Input $3,00 pro Million Tokens (etwa $0.005 pro Minute), und Audio-Output kostet $12,00 pro Million Tokens (etwa $0.018 pro Minute).
Bei diesen Preisen kosten 60 Minuten Sprache des Spielers plus 60 Minuten Sprache des NPCs allein für Audio etwa $1,38, bevor Text-Tokens, Denk-Tokens oder Tool-Aufrufe dazukommen. Echte Gespräche haben Pausen, deshalb kostet den meisten weniger. Die Rechnung wächst trotzdem mit dem Anteil, in dem Ihre Spieler gern reden.
Es gibt eine kostenlose Stufe. Die Preisseite von Google sagt, dass Inhalte der kostenlosen Stufe zur Verbesserung ihrer Produkte verwendet werden. Das ist wichtig, wenn Spieler Persönliches zu Ihren Charakteren sagen.
Neocortex-Tarife laufen monatlich und enthalten ein Nutzungskontingent. Starter kostet EUR 9 pro Monat für private und akademische Projekte. Pro mit EUR 29 pro Monat ergänzt kommerzielle Nutzung, Gruppenchat und 5 eigene Stimmen.
Gemini Live gegen Neocortex
| Eigenbau auf Gemini Live | Neocortex | |
|---|---|---|
| Unity | Firebase-AI-Logic-Vorschau, begrenzte Modellliste | Unity SDK, Unity 6, sechs Beispielszenen |
| Andere Engines | Eigenen Client bauen | Unreal Engine 5, Godot, Web API |
| Sitzungen | 15-Minuten-Sitzungen, 10-Minuten-Verbindungen, Fortsetzungs-Handles | Keine Sitzungsgrenze: jede Runde ist ein eigener API-Aufruf |
| Charakterdesign | Prompts im Code | Visueller Node-Editor |
| Stimmen | Vorgefertigte Stimmen von Google | Stimmklonen und Stimmgestaltung |
| Spielaktionen | Funktionsaufrufe selbst verdrahten | Aktionen mit Ziel-IDs und Szenenobjekten eingebaut |
| Mehrere Charaktere | Selbst bauen | Bis zu sechs Charaktere in einem Gespräch (Pro und Team) |
| Lokale KI | Nein | Lokale Modelle über Ollama in Unity für Textchat-Prototypen |
Modell-API oder Charakterplattform?
Das sind zwei verschiedene Ansätze, jeder mit eigenen Abwägungen.
Der Aufbau auf einer Modell-API gibt Ihnen direkten Zugriff auf die neuesten Modelle und volle Kontrolle über jede Anfrage. Sie übernehmen aber auch jede oben genannte Grenze, und Sie schreiben den Engine-Client, das Token-Backend, die Logik zum Neuverbinden, die Charakter-Prompts und die Spielanbindung. Wenn sich Modellliste oder API ändert, aktualisieren Sie das alles.
Eine Charakterplattform gibt Ihnen weniger Kontrolle über das rohe Modell und mehr von dem, was ein Spiel braucht. Bei Neocortex sind Persönlichkeit, Emotion, Wissen, Absichten und Aktionen Knoten in einem visuellen Graphen, den ein Designer bearbeiten kann. Jede Antwort kommt mit einem Emotions-Tag pro Zeile zurück und mit Aktionen wie { "name": "OPEN_DOOR", "targetId": "door_02" }. Conversation Flows melden Checkpoint-Schlüsselwörter (flowState), während sich die Geschichte entwickelt. Mikrofoneingabe funktioniert in Unity-WebGL-Builds.
Für die meisten Spieleteams ist die zweite Liste die, mit der sie ausliefern. Unseren Überblick über Echtzeit-Sprach-APIs für Spiel-NPCs finden Sie, wenn Sie sehen wollen, wie sich die anderen Sprach-APIs nach denselben Punkten schlagen.
Nächste Schritte
- Ein Neocortex-Konto anlegen.
- Bauen Sie einen NPC im Editor und geben Sie ihm eine geklonte oder gestaltete Stimme.
- Sprechen Sie im Browser mit ihm, bis er richtig klingt.
- Installieren Sie das Unity SDK, öffnen Sie eine Beispielszene und hören Sie, wie der Charakter in Ihrem Spiel antwortet, ohne Sitzungslogik schreiben zu müssen.
Die Angaben zu Google wurden zuletzt im Oktober 2026 geprüft.
Häufig gestellte Fragen
Funktioniert die Gemini Live API in Unity?
Über Firebase AI Logic, dessen Unterstützung der Live API in der Vorschau ist, ohne SLA, und dessen Unity-Schnellstart noch als demnächst verfügbar markiert ist. Neocortex hat ein Unity SDK für Unity 6 mit sechs Beispielszenen, dazu Unreal Engine 5, Godot und eine Web API.
Wie lange kann eine Gemini-Live-Sitzung dauern?
Reine Audiositzungen enden nach 15 Minuten und Verbindungen nach etwa 10 Minuten, sofern Sie keine Kompression des Kontextfensters und keine Sitzungsfortsetzung hinzufügen. Bei Neocortex ist jede Runde ein eigener API-Aufruf, den das SDK übernimmt. Mit Ihrem Charakter gibt es also keine Sitzung, die ablaufen kann, und Sie müssen keine Logik zur Fortsetzung schreiben.
Ist die Gemini Live API kostenlos?
Es gibt eine kostenlose Stufe. Die Preisseite von Google sagt, dass Inhalte der kostenlosen Stufe zur Verbesserung ihrer Produkte verwendet werden. Die Audio-Ausgabe im bezahlten Tarif wird pro Token abgerechnet.
Welche Gemini-Live-Modelle kann ein Unity-Spiel nutzen?
Firebase AI Logic listet Gemini 3.1 Flash Live Preview und Gemini 2.5 Native-Audio-Modelle, nicht das neuere Gemini 3.8 Live. Neocortex verwaltet das Modell für Sie, sodass Ihre Charaktere nicht davon abhängen, welche Vorschau Ihr SDK unterstützt.






