Neocortex Logo

Speech-to-text, LLM, TTS: come funziona la voce degli NPC IA

Come funziona un NPC IA con voce: lo speech-to-text sente il giocatore, un LLM scrive la risposta, il text-to-speech la pronuncia. STT vs TTS, latenza e cosa costruire.

Sercan AltundasFounder of Neocortex

· 8 min di lettura

Come funziona un NPC IA con voce: lo speech-to-text sente il giocatore, un LLM scrive la risposta, il text-to-speech la pronuncia. STT vs TTS, latenza e cosa costruire.

Un NPC IA con voce è tre modelli in sequenza: lo speech-to-text sente il giocatore, un modello linguistico scrive la risposta, e il text-to-speech la pronuncia ad alta voce. Ogni guida sui motori di questa serie si basa su quella catena, quindi questo articolo spiega ciascuna parte, da dove nasce il ritardo e come Neocortex fa funzionare tutto dietro un solo personaggio.

Le tre fasi della pipeline vocale di un NPC IA

1. Speech-to-text (STT): sentire il giocatore

Il gioco registra il microfono e invia l'audio a un modello di riconoscimento vocale, che restituisce del testo. Qui contano due scelte:

  • Push-to-talk o rilevamento della voce. Il push-to-talk è un pulsante che il giocatore tiene premuto mentre parla. Il rilevamento dell'attività vocale (VAD) ascolta in continuo e decide quando il giocatore ha iniziato e smesso di parlare. Il push-to-talk è più semplice e non interrompe mai nessuno. Il VAD sembra più naturale, soprattutto in VR, ma richiede una soglia di silenzio da regolare.
  • Vocabolario. I modelli vocali inciampano sui nomi inventati. Se nel tuo mondo c'è una città chiamata Varrowmere, il modello potrebbe sentire "barrel mere". Dare al riconoscitore un breve elenco dei tuoi nomi propri risolve gran parte del problema.

2. Il modello linguistico: scrivere la risposta

La trascrizione va a un grande modello linguistico insieme a tutto ciò che definisce chi è il personaggio: personalità, ciò che sa, la conversazione finora e ciò che sta succedendo nel gioco. Il modello scrive la battuta successiva.

Per un gioco, il testo semplice non basta. Vuoi anche sapere che emozione prova il personaggio, così volto e animazione possono seguirla, e se ha deciso di fare qualcosa, come aprire un cancello o consegnare un oggetto. È qui che la maggior parte delle configurazioni fai-da-te si complica, perché finisci per cercare indizi in un testo libero.

3. Text-to-speech (TTS): dirlo ad alta voce

Il testo della risposta va a un modello vocale, che restituisce audio. Un buon TTS per personaggi richiede una voce adatta (un fabbro burbero, un impiegato nervoso), un'emozione che segua la battuta e il supporto per le lingue che parlano i tuoi giocatori.

STT vs TTS: due estremità della stessa conversazione

Spesso si cerca "STT vs TTS" come se fossero alternative. Non lo sono: lo STT è l'orecchio e il TTS è la bocca.

Speech-to-text (STT)Text-to-speech (TTS)
DirezioneVoce del giocatore in testoTesto del personaggio in voce
InputAudio del microfonoLa risposta scritta dall'LLM
Cosa può andare stortoNomi capiti male, rumore di fondo, frasi interrotteConsegna piatta, pronuncia sbagliata, primo audio lento
Cosa regolarePush-to-talk o VAD, soglia di silenzio, vocabolarioScelta della voce, emozione, streaming

Un personaggio che scrive e basta non ha bisogno di nessuno dei due. Un personaggio a cui il giocatore parla ma che risponde per iscritto ha bisogno dello STT. Un personaggio che pronuncia battute scritte ha bisogno del TTS. Una conversazione vocale aperta richiede entrambi, più il modello al centro.

Da dove viene il ritardo

I giocatori notano una pausa di più di circa un secondo. L'attesa totale è più o meno:

  1. Attendere di essere sicuri che il giocatore abbia smesso di parlare (la soglia di silenzio del VAD, o il rilascio del push-to-talk).
  2. Trascrivere l'audio.
  3. Il modello che scrive le prime parole.
  4. Il modello vocale che produce il primo audio.

Eseguire questi passaggi uno dopo l'altro, aspettando che ciascuno finisca completamente, è ciò che produce pause di tre o quattro secondi. La soluzione è lo streaming: iniziare a pronunciare la prima frase mentre il resto della risposta viene ancora scritto. La nostra guida sulla latenza esamina ogni fase con i numeri.

Come Neocortex fa funzionare la pipeline

Con Neocortex non colleghi tre servizi. Costruisci un personaggio nell'editor nel browser con la sua personalità, la sua base di conoscenza, le sue emozioni, le sue azioni e la sua voce, e l'SDK gestisce la catena:

  • Speech-to-text per la voce del giocatore, in più di 20 lingue, da un solo componente microfono in Unity, Unreal e Godot. Un nodo Vocabulary elenca i nomi del tuo mondo, così "Varrowmere" arriva come Varrowmere.
  • La risposta torna con un'emozione come HAPPY, CURIOUS o ANNOYED, più le azioni scelte dal personaggio, così il tuo gioco non deve mai analizzare testo libero.
  • Text-to-speech con la voce propria del personaggio. In Unity, Godot e nel Web SDK avviene in streaming, quindi il personaggio inizia a parlare prima che la risposta intera sia pronta.

Se preferisci chiamarlo tu, la Web API fa la stessa cosa via HTTP. Un turno di testo è una sola richiesta:

curl -X POST https://api.neocortex.link/v3/chat \
  -H "x-api-key: $NEOCORTEX_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "characterIds": ["CHARACTER_ID"], "message": "Is the north road safe?" }'

La risposta contiene un sessionId e un array messages, dove ogni messaggio ha lines (ciascuna con text ed emotion), actions e flowState. Rimanda il sessionId con il messaggio successivo per proseguire la conversazione.

Scegliere ciò di cui ha bisogno il tuo NPC

Non ogni NPC ha bisogno della catena completa:

  • I personaggi di sfondo possono restare su barks scritti. Non serve l'IA.
  • Chi affida missioni e i commercianti funzionano bene come chat testuale con TTS, quindi il giocatore scrive e il personaggio parla.
  • I compagni e i personaggi in VR traggono il massimo vantaggio dalla voce completa, perché i giocatori parlano già ad alta voce o hanno le mani occupate.
  • Accessibilità. L'input vocale aiuta i giocatori a cui scrivere risulta difficile, e le risposte parlate aiutano chi trova difficile leggere. Offri entrambe le direzioni come opzioni, non come requisiti.

Costruiscilo nel tuo motore

Ogni guida per motore di questa serie configura la stessa pipeline passo dopo passo:

Tutte sono raccolte nella nostra guida alla creazione di NPC IA.

Domande frequenti

Qual è la differenza tra STT e TTS?

Vanno in direzioni opposte. Lo speech-to-text (STT) trasforma la voce del giocatore in testo che il gioco può leggere, e il text-to-speech (TTS) trasforma la risposta scritta del personaggio in audio. Un NPC con voce ha bisogno di entrambi, con un modello linguistico in mezzo.

Mi serve un LLM per un NPC che parla?

Solo se l'NPC deve rispondere a cose che non hai scritto in anticipo. Le battute registrate in precedenza non richiedono alcun modello. Per una conversazione aperta servono STT, un LLM e TTS, e Neocortex fa girare tutti e tre dietro un solo personaggio.

Quanto velocemente può rispondere un NPC IA con voce?

Il ritardo è la somma di attendere che il giocatore finisca di parlare, trascrivere, scrivere le prime parole e pronunciarle. Ciò che lo porta vicino al secondo è far passare ogni fase alla successiva in streaming. Neocortex pronuncia una risposta mentre viene ancora scritta.

Posso usare le mie voci per un NPC IA?

Sì. Neocortex ha una libreria di voci standard, e voci personalizzate nel piano Pro (5) e nel piano Team (20). Ogni personaggio mantiene la sua voce in Unity, Unreal, Godot e sul web.

La chat vocale con un NPC IA funziona offline?

Solo se tutti e tre i modelli girano sul dispositivo del giocatore. Neocortex gira nel cloud per impostazione predefinita, e gli studi possono organizzare un runtime on-device come piano Custom.

Articoli simili

Continua a leggere