Neocortex Logo

So fügen Sie KI-NPCs in Unity einen Sprachchat hinzu

Fügen Sie KI-NPCs in Unity einen Sprachchat hinzu: Mikrofoneingabe mit Spracherkennung oder Push-to-Talk, gesprochene Antworten, Lippensynchronisation sowie die Einrichtung für WebGL, Android und iOS.

Sercan AltundasFounder of Neocortex

· 9 Min. Lesezeit

Fügen Sie KI-NPCs in Unity einen Sprachchat hinzu: Mikrofoneingabe mit Spracherkennung oder Push-to-Talk, gesprochene Antworten, Lippensynchronisation sowie die Einrichtung für WebGL, Android und iOS.

Einer Figur zu schreiben ist in Ordnung. Mit ihr zu sprechen und eine Antwort in ihrer eigenen Stimme zu hören, ist ein anderes Spiel. Diese Anleitung fügt einem KI-NPC in Unity mit dem Neocortex SDK vollständigen Sprachchat hinzu: das Mikrofon des Spielers als Eingabe, eine gesprochene Antwort als Ausgabe, dazu Lippensynchronisation und die Details zur Plattform, für die man sonst meist eine Woche sucht.

So funktioniert Sprachchat im SDK

Ein Sprachzug durchläuft drei Stufen: Sprache-zu-Text hört den Spieler, die Figur schreibt eine Antwort, und Text-zu-Sprache spricht sie. Unser Leitfaden zur Sprach-Pipeline für KI-NPCs erklärt jede Stufe. In Unity verdrahten Sie sie nicht selbst: Das SDK übernimmt die ganze Kette mit drei Komponenten auf einem GameObject.

KomponenteAufgabe
Neocortex Smart AgentDie Figur: sendet die Aufnahme, empfängt die Antwort
Neocortex Audio ReceiverDas Mikrofon, auf Desktop, Android, iOS und WebGL
Audio SourceWo die Stimme der Figur abgespielt wird

Wenn Sie das SDK noch nicht eingerichtet haben, beginnen Sie mit So fügen Sie Ihrem Unity-Spiel eine KI-Figur hinzu.

Schritt 1: der NPC mit Stimme ohne Code

Fügen Sie die drei Komponenten dem GameObject Ihrer Figur hinzu und wählen Sie die Figur im Dropdown des Smart Agent. Mit eingeschaltetem Auto Voice Input (Standard) findet der Agent den Receiver, schickt jede Aufnahme als Sprachnachricht und öffnet das Mikrofon nach jeder Antwort erneut. Drücken Sie Play und sprechen Sie.

Am schnellsten geht es mit Rechtsklick in der Hierarchy > Neocortex > Complete Voice Chat; das baut denselben Aufbau mit einem Chatfenster und einem Mikrofon-Button.

Schritt 2: Spracherkennung oder Push-to-Talk wählen

Der Audio Receiver hört standardmäßig mit Spracherkennung zu. Drei Einstellungen formen sie:

  • Amplitude Threshold (Standard 0.1): wie laut der Spieler sein muss, damit es als Sprechen zählt. In lauten Räumen erhöhen.
  • Max Wait Time (Standard 1 Sekunde): wie viel Stille einen Satz beendet. Kürzer wirkt schneller, schneidet aber langsame Sprecher ab.
  • Lead In (Standard 0.3 Sekunden): Audio, das kurz vor dem Sprechbeginn des Spielers aufgenommen wird, damit die ersten Silben nicht abgeschnitten werden.

Für Push-to-Talk schalten Sie den Receiver um und starten und stoppen ihn über Ihre eigene Eingabe. Das nutzt das Input System von Unity:

using UnityEngine;
using UnityEngine.InputSystem;
using Neocortex;

public class PushToTalk : MonoBehaviour
{
    [SerializeField] private NeocortexAudioReceiver microphone;

    private void Start() => microphone.SetPushToTalk(true);

    private void Update()
    {
        var keyboard = Keyboard.current;
        if (keyboard == null) return;
        if (keyboard.vKey.wasPressedThisFrame) microphone.StartMicrophone();
        if (keyboard.vKey.wasReleasedThisFrame) microphone.StopMicrophone();
    }
}

Loslassen von V beendet die Aufnahme, und der Agent schickt sie sofort ab. Für einen Button auf dem Bildschirm macht der Neocortex Push To Talk Button des SDK dasselbe beim Drücken und Loslassen, und das Neocortex Microphone Dropdown lässt Spieler ihr Gerät wählen.

Schritt 3: die gesprochene Antwort gestalten

Der Chat Lines Mode des Smart Agent bestimmt, wie die Antwort gesprochen wird:

  • PerLineAudio spricht jede Zeile, sobald sie beginnt, sodass eine lange Antwort schnell zu sprechen anfängt.
  • SingleAudio spricht die ganze Antwort als einen Clip.
  • Off übergibt Ihnen den Clip über OnAudioResponseReceived und spielt nichts ab, für Ihr eigenes Audiosystem.

Die Sprache wird von unseren Servern gestreamt und beginnt nach einem Bruchteil einer Sekunde Puffer zu spielen, sodass die Figur zu sprechen beginnt, bevor der ganze Clip existiert. Die Stimme folgt der Emotion jeder Zeile, eine alarmierte Zeile klingt also alarmiert.

Zwei Ereignisse helfen bei der Darstellung: OnTranscriptionReceived liefert, was der Spieler gesagt hat, für Untertitel oder eine Zeile wie „Sie sagten“, und OnChatLineStarted liefert jede Zeile der Antwort, sobald sie beginnt.

Schritt 4: Lippensynchronisation hinzufügen

Fügen Sie der Figur die Neocortex Face Animator (Add Component > Neocortex) hinzu. Sie findet den Agent und die Audioquelle und bewegt den Mund anhand des gesprochenen Textes über Blend Shapes mit ARKit-Namen wie JawOpen und MouthFunnel. Ready-Player-Me-Avatare bringen diese von Haus aus mit. Die Zuordnung von Emotionen zu Gesichtsausdrücken legen Sie selbst fest; unser Leitfaden zu emotionalen KI-NPCs enthält eine praktische Tabelle.

Hinweise zu den Plattformen

  • Android und iOS: Der Receiver fragt beim ersten Gebrauch selbst nach der Mikrofonberechtigung. Sein Ereignis On Permission Denied lässt Sie eine Meldung zeigen oder auf Text zurückfallen.
  • WebGL: Das Mikrofon von Unity gibt es in Browsern nicht. Wählen Sie das Neocortex-WebGL-Template unter Player Settings > Resolution and Presentation (das SDK importiert es in Ihr Projekt, und Tools > Neocortex > Import WebGL Template stellt es wieder her). Hosten Sie den Build über HTTPS, denn Browser erlauben das Mikrofon nur auf sicheren Seiten. Ist das Template nicht ausgewählt, warnt die Konsole, dass die Mikrofoneingabe nicht funktioniert.
  • Desktop: Spieler müssen den Mikrofonzugriff beim ersten Mal womöglich in den Datenschutzeinstellungen ihres Betriebssystems erlauben.

Häufige Probleme

  • Der NPC antwortet auf seine eigene Stimme. Über Lautsprecher kann das Mikrofon die Antwort hören. Die Spracherkennung öffnet sich nach dem Ende der Antwort wieder, aber Push-to-Talk oder Kopfhörer vermeiden das ganz.
  • Spieler werden mitten im Satz unterbrochen. Erhöhen Sie Max Wait Time ein wenig oder wechseln Sie zu Push-to-Talk.
  • Kurze Klicks lösen Antworten aus. Geräusche unter 0.15 Sekunden werden bereits ignoriert. Erhöhen Sie Amplitude Threshold, wenn Hintergrundgeräusche trotzdem durchkommen.
  • In einem Web-Build passiert nichts. Prüfen Sie zuerst das WebGL-Template und HTTPS.

Nächste Schritte

Bei der Stimme zeigt sich die Latenz am deutlichsten, lesen Sie daher wie KI-NPC-Sprachantworten unter einer Sekunde kommen. Um Ihre geskripteten Zeilen in derselben Stimme zu vertonen, siehe Text-zu-Sprache für NPC-Dialoge in Unity, und für Headsets siehe KI-Figuren in einem Meta-Quest-Spiel. Alle Anleitungen stehen im Leitfaden zum Bau von KI-NPCs.

Häufig gestellte Fragen

Wie füge ich in Unity einem KI-NPC einen Sprachchat hinzu?

Legen Sie einen Neocortex Smart Agent, eine Audio Source und einen Neocortex Audio Receiver auf ein GameObject. Der Receiver nimmt den Spieler auf, der Agent transkribiert es und antwortet mit der Stimme der Figur. Es funktioniert ohne Code, und Push-to-Talk ist eine Einstellung.

Funktioniert Spracherkennung von Unity in WebGL?

Die Microphone-Klasse von Unity funktioniert nicht in Browsern. Das Neocortex SDK holt das Mikrofon des Browsers über sein WebGL-Template in Unity, sodass Sprach-NPCs in Web-Builds funktionieren, die über HTTPS ausgeliefert werden.

Push-to-Talk oder Spracherkennung für den Sprachchat mit NPCs?

Push-to-Talk schneidet Spieler nie ab und passt zu PC- und Controller-Spielen. Spracherkennung ist freihändig, was zu VR passt. Der Neocortex Audio Receiver kann beides: standardmäßig Spracherkennung, Push-to-Talk mit einem Schalter.

Kann ein KI-NPC in Unity Lippen synchronisieren?

Ja. Fügen Sie der Figur den Neocortex Face Animator hinzu. Er bewegt den Mund anhand des gesprochenen Textes über Blend Shapes mit ARKit-Namen, die Ready-Player-Me-Avatare haben.

Funktionieren Sprach-NPCs auf Android und iOS?

Ja. Der Neocortex Audio Receiver fragt auf Android und iOS selbst nach der Mikrofonberechtigung, und dieselbe Komponente funktioniert auf Desktop und WebGL.

Ähnliche Beiträge

Weiterlesen