Neocortex Logo

Speech-to-Text, LLM, Text-to-Speech für KI-NPCs erklärt

So funktioniert die Stimme eines KI-NPCs: Speech-to-Text hört den Spieler, ein LLM schreibt die Antwort, Text-to-Speech spricht sie. STT vs. TTS, Latenz und was Sie bauen sollten.

Sercan AltundasFounder of Neocortex

· 8 Min. Lesezeit

So funktioniert die Stimme eines KI-NPCs: Speech-to-Text hört den Spieler, ein LLM schreibt die Antwort, Text-to-Speech spricht sie. STT vs. TTS, Latenz und was Sie bauen sollten.

Ein vertonter KI-NPC besteht aus drei Modellen hintereinander: Speech-to-Text hört den Spieler, ein Sprachmodell schreibt die Antwort, und Text-to-Speech spricht sie laut aus. Jedes Engine-Tutorial in dieser Reihe baut auf dieser Kette auf. Deshalb erklärt dieser Leitfaden jeden Teil, woher die Verzögerung kommt und wie Neocortex das Ganze hinter einer einzigen Figur betreibt.

Die drei Stufen einer KI-NPC-Stimm-Pipeline

1. Speech-to-Text (STT): den Spieler hören

Das Spiel nimmt das Mikrofon auf und schickt das Audio an ein Spracherkennungsmodell, das Text zurückgibt. Zwei Entscheidungen sind hier wichtig:

  • Push-to-Talk oder Spracherkennung. Push-to-Talk ist ein Knopf, den der Spieler beim Sprechen gedrückt hält. Voice Activity Detection (VAD) hört durchgehend zu und entscheidet, wann der Spieler begonnen und aufgehört hat. Push-to-Talk ist einfacher und unterbricht nie jemanden. VAD wirkt natürlicher, besonders in VR, braucht aber eine Stille-Schwelle, die Sie abstimmen müssen.
  • Vokabular. Sprachmodelle stolpern über erfundene Namen. Wenn Ihre Welt eine Stadt namens Varrowmere hat, hört das Modell vielleicht „Barrel Mere“. Wenn Sie dem Erkenner eine kurze Liste Ihrer Eigennamen geben, behebt das den größten Teil davon.

2. Das Sprachmodell: die Antwort schreiben

Die Transkription geht zusammen mit allem an ein großes Sprachmodell, was den Charakter zu dem macht, der er ist: Persönlichkeit, was er weiß, das bisherige Gespräch und was im Spiel gerade passiert. Das Modell schreibt die nächste Zeile.

Für ein Spiel reicht reiner Text nicht. Sie wollen außerdem wissen, wie sich die Figur fühlt, damit Gesicht und Animation passen, und ob sie sich zu etwas entschieden hat, etwa ein Tor zu öffnen oder einen Gegenstand zu übergeben. Hier wird es bei den meisten Eigenbau-Lösungen unübersichtlich, weil man freien Text nach Hinweisen durchsuchen muss.

3. Text-to-Speech (TTS): es laut aussprechen

Der Antworttext geht an ein Stimmmodell, das Audio zurückgibt. Gutes TTS für Charaktere braucht eine passende Stimme (ein grobschlächtiger Schmied, ein nervöser Schreiber), Emotion, die der Zeile folgt, und Unterstützung für die Sprachen Ihrer Spieler.

STT vs. TTS: zwei Enden desselben Gesprächs

Oft wird nach „STT vs TTS“ gesucht, als wären es Alternativen. Das sind sie nicht: STT ist das Ohr und TTS ist der Mund.

Speech-to-Text (STT)Text-to-Speech (TTS)
RichtungStimme des Spielers zu TextText des Charakters zu Stimme
EingabeMikrofon-AudioDie Antwort, die das LLM geschrieben hat
Was schiefgehen kannFalsch verstandene Namen, Hintergrundgeräusche, abgeschnittene SätzeFlache Betonung, falsche Aussprache, langsames erstes Audio
Was man abstimmtPush-to-Talk oder VAD, Stille-Schwelle, VokabularStimmwahl, Emotion, Streaming

Ein Charakter, der nur tippt, braucht keins von beiden. Ein Charakter, mit dem Spieler sprechen, der aber in Text antwortet, braucht STT. Ein Charakter, der festgelegte Zeilen spricht, braucht TTS. Ein offenes Sprachgespräch braucht beides plus das Modell dazwischen.

Woher die Verzögerung kommt

Spieler bemerken eine Pause von mehr als etwa einer Sekunde. Die Gesamtwartezeit besteht ungefähr aus diesen Schritten:

  1. Warten, bis sicher ist, dass der Spieler aufgehört hat zu sprechen (die Stille-Schwelle von VAD oder das Loslassen von Push-to-Talk).
  2. Das Audio transkribieren.
  3. Das Modell schreibt seine ersten Worte.
  4. Das Stimmmodell erzeugt das erste Audio.

Wenn man diese Schritte nacheinander ausführt und jeweils auf das vollständige Ende wartet, entstehen Pausen von drei bis vier Sekunden. Die Lösung ist Streaming: Sie beginnen zu sprechen, während der Rest der Antwort noch geschrieben wird. Unser Latenz-Leitfaden geht jede Stufe mit Zahlen durch.

So betreibt Neocortex die Pipeline

Mit Neocortex verbinden Sie drei Dienste nicht selbst. Sie bauen einen Charakter im Browser-Editor mit Persönlichkeit, Wissensbasis, Emotionen, Aktionen und Stimme, und das SDK übernimmt die Kette:

  • Speech-to-Text für die Stimme des Spielers, in mehr als 20 Sprachen, aus einer Mikrofonkomponente in Unity, Unreal und Godot. Ein Vokabular-Knoten listet die Namen Ihrer Welt, sodass „Varrowmere“ auch als Varrowmere ankommt.
  • Die Antwort kommt mit einer Emotion wie HAPPY, CURIOUS oder ANNOYED zurück, dazu alle Aktionen, die der Charakter gewählt hat. So muss Ihr Spiel nie freien Text auswerten.
  • Text-to-Speech in der eigenen Stimme des Charakters. In Unity, Godot und dem Web SDK wird es gestreamt, sodass der Charakter zu sprechen beginnt, bevor die ganze Antwort fertig ist.

Wenn Sie es selbst aufrufen möchten, macht die Web API dasselbe über HTTP. Ein Text-Zug ist eine Anfrage:

curl -X POST https://api.neocortex.link/v3/chat \
  -H "x-api-key: $NEOCORTEX_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "characterIds": ["CHARACTER_ID"], "message": "Is the north road safe?" }'

Die Antwort enthält eine sessionId und ein Array messages. Jede Nachricht hat lines (jeweils mit text und einer emotion), actions und flowState. Senden Sie die sessionId mit der nächsten Nachricht zurück, um das Gespräch fortzusetzen.

Entscheiden, was Ihr NPC braucht

Nicht jeder NPC braucht die volle Kette:

  • Nebenfiguren können bei festen Barks bleiben. Keine KI nötig.
  • Questgeber und Händler funktionieren gut als Textchat mit TTS: Spieler tippen, und die Figur spricht.
  • Begleiter und VR-Charaktere profitieren am meisten von voller Stimme, weil Spieler ohnehin laut sprechen oder beide Hände beschäftigt haben.
  • Barrierefreiheit. Spracheingabe hilft Spielern, denen Tippen schwerfällt, und gesprochene Antworten helfen Spielern, denen Lesen schwerfällt. Bieten Sie beide Richtungen als Optionen an, nicht als Pflicht.

In Ihrer Engine umsetzen

Jeder Engine-Leitfaden dieser Reihe richtet dieselbe Pipeline Schritt für Schritt ein:

Alle sind in unserem Leitfaden zum Bau von KI-NPCs gesammelt.

Häufig gestellte Fragen

Was ist der Unterschied zwischen STT und TTS?

Sie laufen in entgegengesetzte Richtungen. Speech-to-Text (STT) macht aus der Stimme des Spielers Text, den das Spiel lesen kann, und Text-to-Speech (TTS) macht aus der geschriebenen Antwort des Charakters Audio. Ein vertonter NPC braucht beides, dazwischen ein Sprachmodell.

Brauche ich ein LLM für einen sprechenden NPC?

Nur, wenn der NPC Dinge beantworten soll, die Sie nicht vorgeschrieben haben. Vorab aufgenommene Zeilen brauchen überhaupt kein Modell. Für ein offenes Gespräch brauchen Sie STT, ein LLM und TTS, und Neocortex betreibt alle drei hinter einer Figur.

Wie schnell kann ein vertonter KI-NPC antworten?

Die Verzögerung ist die Summe aus dem Abwarten, bis der Spieler fertig ist, dem Transkribieren, dem Schreiben der ersten Worte und dem Sprechen. Dass jede Stufe in die nächste gestreamt wird, bringt es nahe an eine Sekunde. Neocortex spricht eine Antwort, während sie noch geschrieben wird.

Kann ich eigene Stimmen für einen KI-NPC nutzen?

Ja. Neocortex hat eine Bibliothek mit Standardstimmen und eigene Stimmen im Pro-Tarif (5) und im Team-Tarif (20). Jeder Charakter behält seine Stimme in Unity, Unreal, Godot und im Web.

Funktioniert Sprachchat mit einem KI-NPC offline?

Nur, wenn alle drei Modelle auf dem Gerät des Spielers laufen. Neocortex läuft standardmäßig in der Cloud, und Studios können eine Laufzeit auf dem Gerät als individuellen Tarif vereinbaren.

Ähnliche Beiträge

Weiterlesen