Neocortex Logo

Meta-Quest-KI-Bausteine vs. Neocortex für VR-NPCs

Metas AI Building Blocks verbinden LLM-, Sprach- und TTS-Anbieter mit Unity für Quest. Was Sie selbst zusammenbauen und wie Neocortex VR-NPCs abdeckt.

Neocortex TeamThe team behind Neocortex

· Aktualisiert 20. Okt. 2026 · 6 Min. Lesezeit

Metas AI Building Blocks verbinden LLM-, Sprach- und TTS-Anbieter mit Unity für Quest. Was Sie selbst zusammenbauen und wie Neocortex VR-NPCs abdeckt.

Sie entwickeln in Unity für Meta Quest und wollen eine Figur, mit der der Spieler sprechen kann. Sollen Sie mit den eigenen AI Building Blocks von Meta anfangen oder mit einer Figuren-Plattform?

Die Werkzeuge von Meta sind der naheliegende erste Halt. Das Meta XR SDK enthält AI Building Blocks für Sprachmodelle, Sprache und Sprachausgabe, und das langjährige Voice SDK übernimmt Sprachbefehle und Diktat. Sie sind nützliche Grundbausteine. Sie sind keine Figuren. Dieser Vergleich zeigt, was jede Seite für einen VR-NPC liefert und was danach noch offen bleibt.

Was Meta für KI auf Quest mitliefert

  • AI Building Blocks. Vier Bausteine: Objekterkennung, große Sprachmodelle, Spracherkennung und Sprachausgabe. Jeder verbindet eine Unity-Komponente mit einem Anbieter, der festlegt, wo die Berechnung läuft: in der Cloud, auf einem lokalen Rechner oder auf dem Headset. Die Dokumentation von Meta nennt Anbieter wie OpenAI, Ollama, Hugging Face, Replicate und ElevenLabs.
  • Anforderungen. Unity 6 oder neuer, eine Quest 3 oder 3S und eine Internetverbindung für Cloud-Anbieter. Bausteine, die die Durchsicht-Kamera nutzen, brauchen außerdem aktuelle Versionen des Meta XR Core SDK und des MR Utility Kit.
  • Voice SDK. Aufgebaut auf Wit.ai, für Sprachbefehle, Diktat und TTS.
  • Ein sich änderndes Modell-Backend. Meta hat seine Vorschau der Llama API eingestellt, Projekte, die sie für den Baustein des Sprachmodells nutzten, brauchen also einen anderen Anbieter.

Meta warnt außerdem, dass Cloud-Modelle nicht immer auf den Servern eines Anbieters verfügbar sind, Sie sollten daher Verfügbarkeit von Anbieter und Modell prüfen, bevor Sie ausliefern.

Zählen Sie, was Sie noch bauen müssen

Building Blocks verbinden Modelle. Eine Figur braucht mehr. Zusätzlich zu den Bausteinen schreibt und pflegt Ihr Team:

  • Die Figur selbst. Rolle, Hintergrundgeschichte, Wissen, Gedächtnis und Leitplanken, über eine lange Spielsitzung hinweg konsistent gehalten.
  • Den Kleber zwischen den Bausteinen. Die Ausgabe der Spracherkennung ins Sprachmodell, die Antwort in die Sprachausgabe, mit Unterbrechungsbehandlung, damit der Spieler dazwischenreden kann.
  • Getrennte Anbieterkonten. Jeder Baustein kann über eine andere Firma abgerechnet werden, mit eigenen Schlüsseln, Grenzen und Preisänderungen.
  • Eigene Stimmen über einen Drittanbieter für Sprachdienste.
  • Szenenbewusstsein und Aktionen. Der Figur sagen, was der Spieler gerade hält oder anschaut, und eine Antwort in etwas verwandeln, das in der Welt geschieht.
  • Alle anderen Plattformen. Building Blocks zielen auf Quest in Unity. Ein VR-Build für den PC, eine Version für den Flachbildschirm oder eine Portierung nach Unreal fängt wieder von vorn an.

AI Building Blocks und Neocortex im Vergleich

Meta AI Building BlocksNeocortex
Was es istAnbieter-Anbindungen für Unity auf QuestVollständige Plattform für KI-Figuren
FigurendesignBauen Sie selbstVisueller Node-Editor, im Browser getestet
SprachmodellAnbieter wählen und bezahlenWird für Sie verwaltet
StimmeTTS-Anbieter anbindenStreaming-TTS und STT, Stimmklonen und Stimmdesign
Anbieter und AbrechnungMehrere, getrennt abgerechnetEin Konto, feste Monatstarife
PlattformenQuest 3 und 3SUnity auf Desktop, Mobilgeräten und Web, dazu Unreal, Godot und Web API
SpielhakenBauen Sie selbstAktionen, interagierbare Objekte, Emotionen pro Zeile
Story-StrukturBauen Sie selbstConversation Flows mit flowState-Kontrollpunkten

Eine Händlerin in Mixed Reality durchspielen

Stellen Sie sich eine Trankverkäuferin vor, die in der Durchsicht auf dem echten Schreibtisch des Spielers steht.

Mit Building Blocks setzen Sie den Baustein für Spracherkennung, das Sprachmodell und die Sprachausgabe ein, wählen drei Anbieter und verbinden sie. Die Persönlichkeit der Händlerin steckt in einem System-Prompt. Damit sie reagiert, wenn der Spieler eine Flasche hochnimmt, schreiben Sie Code, der die Szene als Text beschreibt, dem Prompt hinzufügt, die Antwort nach der Absicht durchsucht und die Animation auslöst. Ihre Stimme ist eine Standardvoreinstellung, wenn Sie nicht einen eigenen Sprachdienst einrichten.

Mit Neocortex gestalten Sie sie zuerst im Editor: einen Agent-Node für die Hintergrundgeschichte, Personality- und Emotion-Nodes für ihr Temperament, eine Knowledge-Datei mit der Preisliste und einen Objects-Node mit den Flaschen. Sie testen sie im Browser, bis sie so feilscht, wie Sie es wollen. In Unity sagt Ihr Spiel ihr, welches markierte Objekt der Spieler hält. Sie antwortet mit ihrer eigenen geklonten oder entworfenen Stimme, im Stream, damit die Antwort schnell beginnt, und die Antwort trägt eine Emotion für ihr Gesicht sowie eine Aktion in der Form { "name": "OPEN_DOOR", "targetId": "door_02" }, die Ihr Code ausführt, etwa das Öffnen des Schranks hinter ihr. Braucht die Quest eine Struktur, führt ein Conversation Flow sie vom Gruß über das Feilschen bis zum geheimen Rezept, und die API meldet jeden Kontrollpunkt als flowState.

Eine Figur, die im Headset läuft, sehen Sie in unserer VR-Demo mit dem XR Interaction Toolkit von Unity.

Die passende Wahl für Ihr Quest-Projekt

Building Blocks passen zu einem Team, das nur eine einzelne Fähigkeit braucht, etwa Diktat in ein Textfeld oder Objekterkennung für ein Mixed-Reality-Feature, und bereit ist, die Anbieterkonten selbst zu führen.

Neocortex passt zu einem Team, das Figuren will: Designer, die Persönlichkeit und Wissen bearbeiten, ohne die App neu zu bauen, Stimmen, die zu jeder Figur gehören, und NPCs, die auf die Szene reagieren. Es passt auch zu jedem Projekt, das Quest vielleicht verlässt, weil dieselbe Figur auf anderen Plattformen und in anderen Engines läuft.

Beides kann in einer App leben. Nutzen Sie das Voice SDK für Menübefehle wie „pause“ oder „inventory“ und eine Neocortex-Figur für Gespräche.

Zu den Tarifen: Kommerzielle Veröffentlichungen brauchen Pro (EUR 29 im Monat) oder Team (EUR 99 im Monat), und Pro bringt den Gruppenchat für bis zu sechs Figuren über die API mit, was zu einer Gruppe von Begleitern in VR passt.

Eine Figur ins Headset bringen

Beginnen Sie mit dem NPC, dem Ihre Spieler zuerst begegnen. Bauen Sie ihn im Browser, fügen Sie das Unity-SDK hinzu und hören Sie, wie er im Headset antwortet. Jede spätere Figur folgt denselben Schritten.

Angaben zu Meta wurden zuletzt im Oktober 2026 geprüft.

Häufig gestellte Fragen

Was sind die AI Building Blocks von Meta?

Es sind Unity-Komponenten im Meta XR SDK für Objekterkennung, Sprachmodelle, Spracherkennung und Sprachausgabe, die jeweils mit einem Anbieter Ihrer Wahl verbunden werden. Neocortex ist dagegen eine vollständige Plattform für Figuren, mit visuellem Editor, Stimme und Spielaktionen in einem Unity-SDK.

Welche Headsets unterstützen die AI Building Blocks von Meta?

Meta empfiehlt Unity 6 oder neuer mit einer Quest 3 oder Quest 3S. Neocortex-Figuren laufen in Unity auf Desktop, Mobilgeräten und im Web, und dieselbe Figur funktioniert auch in Unreal, Godot und über die Web API.

Ist die Meta Llama API für Quest-Apps noch verfügbar?

Nein, Meta hat seine Vorschau der Llama API eingestellt, der Baustein des Sprachmodells braucht also einen anderen Anbieter wie OpenAI oder Ollama. Neocortex verwaltet das Sprachmodell für Sie, es gibt also keinen Anbieter zu wechseln.

Kann ein VR-NPC auf Objekte um den Spieler herum reagieren?

Mit Building Blocks nicht von allein; diese Anbindung schreiben Sie selbst. In Neocortex schickt Ihr Spiel nahe Objekte und aktuelle Ereignisse, und die Figur antwortet mit Aktionen wie dem Öffnen einer Tür oder dem Übergeben eines Gegenstands.

Kann ich die Stimme einer VR-Figur klonen?

Mit Building Blocks verbinden Sie einen TTS-Anbieter und verwalten die Stimmen dort. Neocortex umfasst das Klonen einer Stimme aus einer kurzen Probe, für die Sie die Rechte haben, und das Entwerfen einer Stimme aus einer Textbeschreibung: 5 eigene Stimmen im Pro- und 20 im Team-Tarif.

Ähnliche Beiträge

Weiterlesen