Neocortex Logo

Come aggiungere la chat vocale agli NPC IA in Unity

Aggiungi la chat vocale agli NPC IA in Unity: input dal microfono con rilevamento della voce o push-to-talk, risposte parlate, lip sync e configurazione per WebGL, Android e iOS.

Sercan AltundasFounder of Neocortex

· 9 min di lettura

Aggiungi la chat vocale agli NPC IA in Unity: input dal microfono con rilevamento della voce o push-to-talk, risposte parlate, lip sync e configurazione per WebGL, Android e iOS.

Scrivere a un personaggio va bene. Parlargli e sentire una risposta con la sua voce è tutta un'altra partita. Questa guida aggiunge una chat vocale completa a un NPC IA in Unity con l'SDK Neocortex: il microfono del giocatore in ingresso, una risposta parlata in uscita, più il lip sync e i dettagli di piattaforma che di solito richiedono una settimana per essere trovati.

Come funziona la chat vocale nell'SDK

Un turno vocale attraversa tre fasi: il riconoscimento vocale ascolta il giocatore, il personaggio scrive una risposta e la sintesi vocale la pronuncia. La nostra guida alla pipeline vocale degli NPC IA spiega ciascuna fase. In Unity non le colleghi a mano: l'SDK gestisce tutta la catena a partire da tre componenti su un unico GameObject.

ComponenteCompito
Neocortex Smart AgentIl personaggio: invia la registrazione, riceve la risposta
Neocortex Audio ReceiverIl microfono, su desktop, Android, iOS e WebGL
Audio SourceDove viene riprodotta la voce del personaggio

Se non hai ancora configurato l'SDK, parti da come aggiungere un personaggio IA al tuo gioco Unity.

Passo 1: l'NPC vocale senza codice

Aggiungi i tre componenti al GameObject del personaggio e scegli il personaggio nel menu a tendina dello Smart Agent. Con Auto Voice Input attivo (impostazione predefinita), l'agente trova il receiver, invia ogni registrazione come messaggio vocale e riapre il microfono dopo ogni risposta. Premi Play e parla.

La strada più rapida è clic destro nella Hierarchy > Neocortex > Complete Voice Chat, che costruisce lo stesso impianto con un pannello di chat e un pulsante del microfono.

Passo 2: scegli il rilevamento della voce o il push-to-talk

L'Audio Receiver ascolta con il rilevamento della voce per impostazione predefinita. Tre impostazioni ne determinano il comportamento:

  • Amplitude Threshold (predefinito 0,1): quanto deve essere forte il giocatore per essere considerato mentre parla. Alzala in ambienti rumorosi.
  • Max Wait Time (predefinito 1 secondo): quanto silenzio chiude una frase. Un valore più basso sembra più veloce, ma taglia chi parla lentamente.
  • Lead In (predefinito 0,3 secondi): audio conservato appena prima che il giocatore cominci, così le prime sillabe non vengono tagliate.

Per il push-to-talk, passa il receiver a quella modalità e avvia e ferma la registrazione dal tuo input. Questo usa il sistema di input di Unity:

using UnityEngine;
using UnityEngine.InputSystem;
using Neocortex;

public class PushToTalk : MonoBehaviour
{
    [SerializeField] private NeocortexAudioReceiver microphone;

    private void Start() => microphone.SetPushToTalk(true);

    private void Update()
    {
        var keyboard = Keyboard.current;
        if (keyboard == null) return;
        if (keyboard.vKey.wasPressedThisFrame) microphone.StartMicrophone();
        if (keyboard.vKey.wasReleasedThisFrame) microphone.StopMicrophone();
    }
}

Rilasciando V la registrazione termina, e l'agente la invia subito. Per un pulsante a schermo, il Neocortex Push To Talk Button dell'SDK fa lo stesso alla pressione e al rilascio, e il Neocortex Microphone Dropdown permette ai giocatori di scegliere il dispositivo.

Passo 3: modella la risposta parlata

La Chat Lines Mode dello Smart Agent decide come viene pronunciata la risposta:

  • PerLineAudio pronuncia ogni riga appena inizia, quindi una risposta lunga comincia a parlare in fretta.
  • SingleAudio pronuncia l'intera risposta come un unico clip.
  • Off ti consegna il clip tramite OnAudioResponseReceived senza riprodurre nulla, per il tuo sistema audio.

Il parlato arriva in streaming dai nostri server e comincia a suonare dopo una frazione di secondo di buffer, quindi il personaggio inizia a parlare prima che l'intero clip esista. La voce segue l'emozione di ogni riga, quindi una battuta allarmata suona allarmata.

Due eventi aiutano nella presentazione: OnTranscriptionReceived ti dà ciò che ha detto il giocatore, per i sottotitoli o una riga "hai detto", e OnChatLineStarted ti dà ogni riga della risposta nel momento in cui inizia.

Passo 4: aggiungi il lip sync

Aggiungi il Neocortex Face Animator (Add Component > Neocortex) al personaggio. Trova l'agente e la sorgente audio, e muove la bocca a partire dal testo parlato usando blend shape con nomi in stile ARKit come JawOpen e MouthFunnel. Gli avatar Ready Player Me li hanno già pronti. Il mapping delle emozioni sulle espressioni facciali spetta a te: la nostra guida agli NPC IA emotivi include una tabella pratica.

Note per piattaforma

  • Android e iOS: il receiver chiede da solo il permesso del microfono al primo utilizzo. Il suo evento On Permission Denied ti permette di mostrare un messaggio o di passare al testo.
  • WebGL: il microfono di Unity non esiste nei browser. Seleziona il template Neocortex WebGL in Player Settings > Resolution and Presentation (l'SDK lo importa nel progetto, e Tools > Neocortex > Import WebGL Template lo ripristina). Pubblica la build su HTTPS, perché i browser consentono il microfono solo nelle pagine sicure. Se il template non è selezionato, la console avvisa che l'input dal microfono non funzionerà.
  • Desktop: i giocatori potrebbero dover consentire l'accesso al microfono nelle impostazioni di privacy del sistema operativo la prima volta.

Problemi comuni

  • L'NPC risponde alla propria voce. Con gli altoparlanti, il microfono può sentire la risposta. Il rilevamento della voce si riapre dopo la fine della risposta, ma il push-to-talk o le cuffie lo evitano del tutto.
  • I giocatori vengono interrotti a metà frase. Alza un po' Max Wait Time, oppure passa al push-to-talk.
  • Clic brevi attivano risposte. I suoni sotto 0,15 secondi sono già ignorati. Alza Amplitude Threshold se il rumore di fondo passa ancora.
  • Non succede nulla in una build web. Controlla prima il template WebGL e HTTPS.

Prossimi passi

La voce è il punto in cui la latenza si nota di più, quindi leggi come ottenere risposte vocali di NPC IA in meno di un secondo. Per far pronunciare le battute scriptate con la stessa voce, vedi sintesi vocale per i dialoghi NPC in Unity, e per i visori vedi personaggi IA in un gioco per Meta Quest. Tutti i tutorial sono nella guida alla creazione di NPC IA.

Domande frequenti

Come aggiungo una chat vocale con un NPC IA in Unity?

Metti uno Smart Agent Neocortex, un Audio Source e un Audio Receiver Neocortex sullo stesso GameObject. Il receiver registra il giocatore, l'agente trascrive e risponde con la voce del personaggio. Funziona senza codice, e il push-to-talk è un'impostazione.

Il riconoscimento vocale di Unity funziona in WebGL?

La classe Microphone di Unity non funziona nei browser. L'SDK Neocortex porta il microfono del browser dentro Unity tramite il suo template WebGL, quindi gli NPC vocali funzionano nelle build web servite su HTTPS.

Push-to-talk o rilevamento della voce per la chat vocale con gli NPC?

Il push-to-talk non interrompe mai i giocatori e si adatta ai giochi su PC e controller. Il rilevamento della voce è a mani libere, quindi si adatta alla VR. Il Neocortex Audio Receiver fa entrambe le cose: rilevamento della voce di default, push-to-talk con un interruttore.

Un NPC IA in Unity può fare il lip sync?

Sì. Aggiungi il Neocortex Face Animator al personaggio. Muove la bocca a partire dal testo parlato su blend shape con nomi ARKit, che hanno gli avatar Ready Player Me.

Gli NPC vocali funzionano su Android e iOS?

Sì. Il Neocortex Audio Receiver chiede da solo il permesso del microfono su Android e iOS, e lo stesso componente funziona su desktop e WebGL.

Articoli simili

Continua a leggere