KI-NPCs in Unreal Engine bauen: Anleitung 2026
So bauen Sie KI-NPCs in Unreal Engine 2026: eigene HTTP-Aufrufe, das Neocortex-Plugin, NVIDIA-ACE-Plugins auf dem Gerät und das Convai-Plugin, Schritt für Schritt.
Sercan AltundasFounder of Neocortex
· 9 Min. Lesezeit

Sie bauen einen KI-NPC in Unreal Engine, indem Sie eine Figur in Ihrem Level mit einem Sprachmodell verbinden: über HTTP-Aufrufe, die Sie selbst schreiben, über ein Charakter-Plugin, das mit einem gehosteten Dienst spricht, oder über Plugins, die die Modelle auf der GPU des Spielers laufen lassen. Unreal Engine hat kein eigenes System für Gesprächsfiguren, daher braucht jeder Weg ein Plugin oder C++-Code.
Dieser Leitfaden richtet sich an Unreal-Entwickler, die in C++ oder Blueprints arbeiten und Figuren wollen, die auf das antworten, was der Spieler tippt oder sagt. Er behandelt vier Wege: eigene Aufrufe mit dem HTTP-Modul von Unreal, das Neocortex-Plugin, die On-Device-Plugins von NVIDIA ACE und das Convai-Plugin. Jede Methode nennt ihre Schritte, was sie braucht und was sie kostet. Danach folgen eine Vergleichstabelle, Tipps, die bei jeder Methode helfen, und Antworten auf häufige Fragen.
4 Wege, KI-NPCs in Unreal Engine zu bauen
Jede Methode braucht im Level dieselben zwei Dinge: einen Akteur, der die Figur darstellt, und einen Weg, auf dem der Spieler ihm Text oder Sprache schicken kann. Sie unterscheiden sich darin, wo das Modell läuft, wo die Persönlichkeit festgehalten wird und wie viel Verdrahtung Sie selbst übernehmen.
Methode 1: Eigene Aufrufe an eine Modell-API mit dem HTTP-Modul
Das HTTP-Modul von Unreal ist die eigene Methode der Engine, mit einem Webdienst zu sprechen. FHttpModule::Get().CreateRequest() erstellt eine Anfrage für die aktuelle Plattform. Eine C++-Klasse kann die Zeile des Spielers an einen Modellanbieter senden und die Antwort an Ihre Dialog-UI weitergeben. Als Beispiel verwenden wir die OpenAI Responses API; andere Anbieter unterscheiden sich in URL und Body.
Unreal hat außerdem das Neural Network Engine (NNE) zum Ausführen von ONNX-Modellen im Spiel. Es ist aber als Beta markiert, und seine Übersichtsseite erwähnt keine Sprachmodelle. Deshalb ist es kein fertiger Weg zu einer sprechenden Figur.
Was Sie brauchen: ein C++-Projekt, einen API-Schlüssel eines Modellanbieters und Erfahrung mit C++ und JSON.
- Erstellen Sie einen API-Schlüssel. Bei OpenAI erstellen Sie ihn unter platform.openai.com/api-keys.
- Fügen Sie das HTTP-Modul hinzu. Nehmen Sie das HTTP-Modul in die Abhängigkeiten Ihres Spielmoduls auf und binden Sie
HttpModule.hin der Klasse ein, die die Aufrufe macht. - Beschreiben Sie die Figur als Anweisungen. Halten Sie eine System-Anweisung als Zeichenkette bereit, mit Rolle, Tonfall und Grenzen der Figur. Diese Zeichenkette ist die Persönlichkeit.
- Senden Sie die Anfrage. Erstellen Sie eine Anfrage mit
FHttpModule::Get().CreateRequest(), setzen Sie das Verb auf POST, die URL aufhttps://api.openai.com/v1/responsesund die HeaderAuthorization: Bearer <key>undContent-Type: application/json. Modellname, Anweisungen und die Nachricht des Spielers gehören in den Body. - Verarbeiten Sie die Antwort. Binden Sie ein Completion-Delegate, parsen Sie das JSON und geben Sie den Text an ein Blueprint-Event weiter, damit Designer ihn in einem Widget anzeigen können.
- Behalten Sie den Verlauf. Speichern Sie die letzten Wechsel und senden Sie sie bei jeder Anfrage mit; das Modell hat zwischen den Aufrufen kein eigenes Gedächtnis.
- Ergänzen Sie den Rest. Sprache rein und raus, Lip Sync und Spielaktionen sind eigene Systeme, die Sie bauen oder einkaufen.
- Schützen Sie den Schlüssel. Leiten Sie die Aufrufe vor der Veröffentlichung über Ihren eigenen Server, damit der Schlüssel nie im gepackten Spiel liegt.
Kosten: Für das HTTP-Modul verlangt Epic nichts. Sie zahlen die Token-Preise des Anbieters.
Wo es hakt: Sie besitzen jeden Teil des Stacks: Gedächtnis, Stimme, Aktionen, Sicherheit und den Server. Teams, die nur mit Blueprints arbeiten, brauchen für diesen Weg einen Programmierer.
Methode 2: Das Neocortex-Plugin für Unreal
Neocortex ist unser Produkt, lesen Sie diesen Abschnitt also mit diesem Hintergrund. Sie entwerfen die Figur in einem visuellen Editor im Browser und sprechen aus Unreal über ein Open-Source-Plugin mit ihr, das als Quellcode ausgeliefert wird. Seine Komponenten funktionieren aus C++ und aus Blueprints. Die Seite zu KI-NPCs in Unreal Engine listet alle Funktionen auf.
Was Sie brauchen: Unreal Engine 5.0 oder neuer, ein C++-Projekt (ein reines Blueprint-Projekt muss eine C++-Klasse hinzufügen), eine C++-Toolchain (Visual Studio unter Windows, Xcode unter macOS) und ein Neocortex-Konto mit API-Schlüssel.
- Erstellen Sie die Figur. Öffnen Sie im Dashboard Characters, klicken Sie auf Create New Character, geben Sie einen Namen ein und klicken Sie auf Create. Bauen Sie die Figur im Node-Editor mit Nodes für Hintergrund, Persönlichkeit, Wissen, Emotion und Stimme.
- Testen Sie sie im Browser. Klicken Sie oben rechts im Editor auf Play.
- Erstellen Sie einen API-Schlüssel. Öffnen Sie im Dashboard API Keys.
- Installieren Sie das Plugin. Laden Sie Source code (zip) von
https://github.com/neocortex-link/neocortex-unreal-sdk/releases/latestherunter, entpacken Sie es in den OrdnerPluginsIhres Projekts und benennen Sie den Ordner inNeocortexum. Oder führen Sie inPluginsden Befehlgit clone https://github.com/neocortex-link/neocortex-unreal-sdk Neocortexaus. - Neu bauen und Schlüssel eintragen. Öffnen Sie das Projekt und wählen Sie Yes, wenn Unreal nach dem Neubauen fragt. Öffnen Sie Tools > Neocortex, fügen Sie den Schlüssel ein, drücken Sie Save und anschließend refresh.
- Geben Sie einem Akteur die Smart-Agent-Komponente. Wählen Sie die Figur, fügen Sie ein Chat-Widget (
NeocortexChatUI) und für die Stimme den Microphone Recorder hinzu. - Fügen Sie Lip Sync und Aktionen hinzu. Der Face Animator steuert aus dem Antwort-Audio Mundformen im ARKit-Stil über Morph Targets. Fügen Sie Action-Nodes im Editor hinzu; wenn eine Antwort eine nennt, führt Ihr Blueprint- oder C++-Code sie aus. Markieren Sie Objekte im Level mit der Komponente Interactable, damit die Figur sie kennt.
- Öffnen Sie die Beispiele. Sieben Beispiel-Maps und ein Launcher liegen dem Plugin bei: Text Chat, Audio Chat, Actions, Interactables, Group Chat, Usage Gating und Quiz Show.
Plattformen: Windows, macOS, Android und iOS. Gestreamte Sprache funktioniert unter Windows, Linux und Android und fällt anderswo auf ganze Clips zurück. Chat-Panels stellen Arabisch und Hebräisch von rechts nach links dar.
Kosten: Starter kostet €9, Pro €29 und Team €99 im Monat bei Jahresabrechnung, oder €11, €35 und €119 bei monatlicher Abrechnung. Kommerzielle Nutzung braucht Pro oder Team. Siehe Preise.
Wo es hakt: Die Figuren laufen in unserer Cloud, das Spiel braucht also eine Verbindung. Der API-Schlüssel wird in Config/DefaultGame.ini gespeichert und reist mit einem gepackten Spiel mit, deshalb sollten Sie Nutzungslimits dafür setzen. Gruppenchat braucht Pro oder Team, das Quiz-Beispiel braucht Team.
Methode 3: NVIDIA-ACE-Plugins auf der GPU des Spielers
NVIDIA ACE ist eine Sammlung von Modellen und Unreal-Engine-5-Plugins für Spielfiguren: Spracherkennung, ein kleines Sprachmodell, Text-to-Speech und Audio2Face-3D-Gesichtsanimation. NVIDIA beschreibt die Unreal-Plugins als lokale, auf RTX optimierte Workflows mit fertigen Modellen. Die Figur läuft also auf der NVIDIA-RTX-Hardware des Spielers.
Was Sie brauchen: Unreal Engine 5.5, 5.6 oder 5.7 für die Sprach- und Sprachmodell-Plugins (5.4 bis 5.6 für die Gesichtsanimation) und NVIDIA-GeForce-RTX-Hardware.
- Laden Sie die Plugins herunter. Laden Sie von der Seite ACE for Games von NVIDIA das Plugin für jeden Teil herunter, den Sie brauchen (Spracherkennung, Sprachmodell, Text-to-Speech, Gesichtsanimation), passend zu Ihrer Engine-Version.
- Kopieren Sie sie ins Projekt. Legen Sie im Projekt einen Ordner
Pluginsan, falls keiner existiert, und kopieren Sie die Plugins hinein. Die Anleitung von NVIDIA rät, nicht gleichzeitig in die Engine und ins Projekt zu installieren. - Aktivieren Sie sie. Gehen Sie im Editor zu Edit > Plugins, suchen Sie nach NVIDIA ACE, haken Sie die Plugins an und starten Sie neu, wenn es verlangt wird.
- Starten Sie mit den Beispielen. Die Plugins bringen Blueprint-Beispiele mit, und das Text-to-Speech-Plugin enthält Beispielstimmen und ein Beispiel-Level.
- Verketten Sie die Teile. Die Spracherkennung macht aus der Stimme des Spielers Text, das Sprachmodell (ein mitgeliefertes Qwen 3.5 4B oder Ihr eigenes GGUF-Modell) schreibt die Antwort, Text-to-Speech spricht sie, und Audio2Face-3D animiert das Gesicht.
- Nutzen Sie Function Calling für Aktionen. Das Sprachmodell-Plugin unterstützt Function Calling. Damit kann die Figur eine Spielfunktion anfordern, die Ihr Code dann ausführt.
Kosten: NVIDIA nennt keinen Preis. Die Unreal-Plugins stehen unter der MIT-Lizenz; die Gewichte von Audio2Face-3D nutzen die NVIDIA Open Model License.
Wo es hakt: Es hängt von der GPU des Spielers ab, Spieler ohne passende NVIDIA-RTX-Hardware brauchen also einen anderen Weg. Die Persönlichkeit steckt in Ihren Prompts und Blueprints, einen eigenen Figuren-Editor gibt es nicht. Lesen Sie vor einer Entscheidung unseren Beitrag zu den Systemanforderungen von NVIDIA ACE.
Methode 4: Das Convai-Plugin für Unreal Engine
Convai ist eine gehostete Plattform für Gesprächsfiguren mit eigenem Unreal-Plugin. Sie erstellen die Figur im Dashboard von Convai und verbinden sie über Komponenten.
Was Sie brauchen: ein Convai-Konto und einen API-Schlüssel. Die Kompatibilitätsseite von Convai nennt Win64 oder Android als Build-Ziele; die minimale Engine-Version wurde beim Lesen nicht angezeigt.
- Installieren Sie das Plugin. Holen Sie es von Fab oder aus den GitHub-Releases von Convai und aktivieren Sie es in Ihrem Projekt.
- Melden Sie sich an. Öffnen Sie das Convai-Editorfenster, melden Sie sich an und speichern Sie Ihren API-Schlüssel.
- Lernen Sie die Komponenten kennen. Convai Chatbot gehört an die Figur, Convai Player an den Spieler, Convai Object an Dinge, die die Figur kennen soll, und Face Sync für das Gesicht.
- Platzieren Sie eine Figur. Fügen Sie eine Convai-Figur einem Level hinzu und führen Sie ein Sprachgespräch mit ihr, um die Einrichtung zu prüfen.
- Verbinden Sie ein Rig. Optional verbinden Sie Lip Sync und Animation von Convai mit einer MetaHuman-Figur.
Kosten: Free $0 mit 100 Interaktionen im Monat, Indie Dev $29 im Monat ($22 bei Jahresabrechnung), Professional $99 ($69), Scale $499 ($299), Business $1.199 ($499) und Enterprise auf Anfrage (Stand November 2026).
Wo es hakt: Tarife zählen Interaktionen, planen Sie den Verbrauch also mit wachsender Spielerzahl ein. Die Details vergleichen Sie in unserem Beitrag zu den Convai-Alternativen.
Die vier Methoden im Vergleich
| Faktor | Eigene HTTP-Aufrufe | Neocortex-Plugin | NVIDIA-ACE-Plugins | Convai-Plugin |
|---|---|---|---|---|
| Wo die Figur definiert wird | Zeichenketten in C++ | Visueller Node-Editor im Browser | Ihre Prompts und Blueprints | Convai-Dashboard |
| Wo das Modell läuft | Cloud des Anbieters | Neocortex-Cloud | RTX-GPU des Spielers | Convai-Cloud |
| Engine-Versionen | Alle mit HTTP-Modul | 5.0 oder neuer | 5.5 bis 5.7 (Gesicht 5.4 bis 5.6) | Auf der Seite nicht angegeben |
| Blueprints | Nur was Sie freigeben | Ja, plus C++ | Ja, plus C++ | Ja |
| Stimme und Lip Sync | Selbst bauen | Enthalten | Enthalten | Enthalten |
| Startkosten | Token-Preise des Anbieters | Ab €9 im Monat | Kein Preis genannt | $0 für 100 Interaktionen im Monat |
| Benötigte Kenntnisse | C++, HTTP, ein Server | C++-Projekt, dann Blueprints | Plugin-Einrichtung, GPU-Planung | Plugin-Einrichtung |
Eigene Aufrufe geben Kontrolle und lassen am meisten selbst zu bauen. NVIDIA ACE ist der Weg ohne Cloud im Spiel, gebunden an die Hardware des Spielers. Neocortex und Convai halten die Figur in einem gehosteten Editor und ergänzen Stimme und Lip Sync; sie unterscheiden sich darin, wie sie die Nutzung zählen und welche Plattformen sie nennen.
Tipps für bessere Ergebnisse in Unreal Engine
Diese Gewohnheiten helfen bei jeder Methode.
- Behandeln Sie jeden ausgelieferten Schlüssel als öffentlich. Ein Schlüssel in einer Konfigurationsdatei oder einer Binärdatei lässt sich finden. Setzen Sie einen Server vor den Anbieter oder Nutzungslimits pro Spieler und pro Figur auf den Schlüssel.
- Lassen Sie das Modell fragen und das Spiel entscheiden. Ob über Aktionen oder Function Calling: Halten Sie eine feste Liste dessen, was eine Figur tun darf, und prüfen Sie jede Anfrage in C++ oder Blueprints, bevor sie das Spiel verändert.
- Streamen Sie Audio, wo Sie können. Spieler bemerken Stille mehr als langsamen Text. Starten Sie die Sprachwiedergabe, sobald das erste Audio ankommt, statt auf den ganzen Clip zu warten.
- Passen Sie das Gesicht an das Rig an. Lip-Sync-Systeme erwarten einen bestimmten Satz Mundformen (ARKit-artige Blend Shapes sind üblich). Prüfen Sie die Morph Targets Ihrer Figur, bevor Sie einen Weg wählen.
- Schreiben Sie die Story-Beats, generieren Sie den Smalltalk. Halten Sie quest-kritische Zeilen geskriptet und setzen Sie die KI-Figur darum herum ein, damit keine Frage die Handlung umgehen kann.
Die richtige Methode für Unreal Engine wählen
Eigene HTTP-Aufrufe passen zu einem Team mit einem C++-Programmierer, einem Backend und dem Bedarf, jede Anfrage und die Modellwahl selbst zu steuern.
Das Neocortex-Plugin passt zu Teams, die Designer Figuren in einem Browser-Editor bauen und testen lassen und sie in C++- oder Blueprint-Projekte unter Windows, macOS, Android oder iOS einfügen wollen.
NVIDIA ACE passt zu PC-Spielen für Spieler mit NVIDIA RTX, bei denen Sprache, Antworten und Gesichtsanimation auf dem Gerät wichtiger sind als die Reichweite auf jedem Rechner.
Das Convai-Plugin passt zu Teams, die eine gehostete Plattform mit Anleitungen für MetaHuman wollen und deren Spielerzahlen zu den Tarifen passen.
Weitere Optionen finden Sie in den besten KI-NPC-Tools für Unreal Engine, und zu den Engine-Kosten die Preise von Unreal Engine.
Häufig gestellte Fragen
Kann ich KI-NPCs in Unreal Engine nur mit Blueprints bauen?
Ja, mit einem Plugin, das Blueprint-Nodes bereitstellt, etwa NVIDIA ACE oder Convai. Das Neocortex-Plugin funktioniert ebenfalls aus Blueprints, braucht zum Kompilieren aber ein C++-Projekt. Ein Blueprint-Projekt bekommt es, indem Sie eine C++-Klasse hinzufügen.
Hat Unreal Engine eingebaute KI-NPCs?
Nein. Unreal liefert das HTTP-Modul für Webaufrufe und das NNE (Beta) zum Ausführen neuronaler Netze mit, aber kein System für Gesprächsfiguren. Unser Beitrag Unreal Engine AI behandelt die eigenen KI-Funktionen der Engine.
Kann eine KI-NPC in Unreal offline laufen?
Ja, mit den On-Device-Plugins von NVIDIA ACE auf unterstützter RTX-Hardware. Cloud-Wege, dazu gehören Neocortex und Convai, brauchen eine Verbindung.
Funktionieren KI-NPCs mit MetaHumans?
Ja. Convai dokumentiert die MetaHuman-Einrichtung, und der Neocortex Face Animator steuert Morph Targets im ARKit-Stil. Prüfen Sie, ob Ihr Rig die Mundformen hat, die das Plugin erwartet.
Was kostet es, KI-NPCs in ein Unreal-Spiel einzubauen?
Die Plugins von Neocortex und NVIDIA ACE kosten nichts zum Herunterladen. Die laufenden Kosten hängen vom Weg ab: Token-Preise bei eigenen Aufrufen, ein Monatstarif bei Neocortex oder Convai und die Hardware des Spielers bei NVIDIA ACE.






