STT, LLM, TTS : comment fonctionne la voix d'un PNJ IA
Comment fonctionne un PNJ IA doté de voix : la reconnaissance vocale entend le joueur, un LLM rédige la réponse, la synthèse vocale la prononce. STT vs TTS, latence et ce qu'il faut construire.
Sercan AltundasFounder of Neocortex
· 8 min de lecture

Un PNJ IA doté de voix repose sur trois modèles enchaînés : la reconnaissance vocale entend le joueur, un modèle de langage rédige la réponse, et la synthèse vocale la prononce à voix haute. Chaque tutoriel de moteur de cette série s'appuie sur cette chaîne. Ce guide explique donc chaque partie, d'où vient le délai, et comment Neocortex fait tourner l'ensemble derrière un seul personnage.
Les trois étapes de la chaîne vocale d'un PNJ IA
1. Reconnaissance vocale (STT) : entendre le joueur
Le jeu enregistre le micro et envoie l'audio à un modèle de reconnaissance vocale, qui renvoie du texte. Deux choix comptent ici :
- Appuyer pour parler ou détection de voix. Appuyer pour parler est un bouton que le joueur maintient pendant qu'il parle. La détection d'activité vocale (VAD) écoute en permanence et décide quand le joueur a commencé et fini de parler. Appuyer pour parler est plus simple et ne coupe jamais personne. La VAD paraît plus naturelle, surtout en VR, mais elle nécessite un seuil de silence que vous devez régler.
- Vocabulaire. Les modèles de reconnaissance trébuchent sur les noms inventés. Si votre monde compte une ville nommée Varrowmere, le modèle peut entendre « baril mère ». Donner au système de reconnaissance une courte liste de vos noms propres règle la plupart des cas.
2. Le modèle de langage : rédiger la réponse
La transcription part vers un grand modèle de langage, avec tout ce qui fait qui est le personnage : sa personnalité, ce qu'il sait, la conversation jusqu'ici, et ce qui se passe dans le jeu. Le modèle rédige la réplique suivante.
Pour un jeu, du texte brut ne suffit pas. Vous voulez aussi savoir ce que ressent le personnage, pour que le visage et l'animation suivent, et s'il a décidé de faire quelque chose, comme ouvrir une porte ou remettre un objet. C'est là que la plupart des montages faits maison deviennent compliqués, car on finit par analyser du texte libre pour y chercher des indices.
3. Synthèse vocale (TTS) : la prononcer à voix haute
Le texte de la réponse part vers un modèle de voix, qui renvoie de l'audio. Une bonne synthèse vocale pour des personnages a besoin d'une voix adaptée (un forgeron bourru, un employé nerveux), d'une émotion qui suit la réplique, et de la prise en charge des langues que parlent vos joueurs.
STT vs TTS : les deux bouts d'une même conversation
Les gens cherchent souvent « STT vs TTS » comme s'il s'agissait d'alternatives. Ce n'est pas le cas : la STT est l'oreille, et la TTS est la bouche.
| Reconnaissance vocale (STT) | Synthèse vocale (TTS) | |
|---|---|---|
| Sens | Voix du joueur vers texte | Texte du personnage vers voix |
| Entrée | Audio du micro | La réponse rédigée par le LLM |
| Ce qui peut mal tourner | Noms mal entendus, bruit de fond, phrases coupées | Diction plate, mauvaise prononciation, premier audio lent |
| Ce qu'il faut régler | Appuyer pour parler ou VAD, seuil de silence, vocabulaire | Choix de la voix, émotion, streaming |
Un personnage qui ne fait que taper n'a besoin ni de l'une ni de l'autre. Un personnage à qui les joueurs parlent mais qui répond par écrit a besoin de la STT. Un personnage qui prononce des répliques scriptées a besoin de la TTS. Une conversation vocale ouverte a besoin des deux, plus le modèle au milieu.
D'où vient le délai
Les joueurs remarquent une pause de plus d'environ une seconde. L'attente totale se décompose à peu près ainsi :
- Attendre d'être sûr que le joueur a arrêté de parler (le seuil de silence de la VAD, ou le relâchement du bouton Appuyer pour parler).
- Transcrire l'audio.
- Le modèle écrit ses premiers mots.
- Le modèle de voix produit son premier audio.
Enchaîner ces étapes en attendant que chacune soit entièrement terminée donne des pauses de trois ou quatre secondes. La solution est le streaming : commencer à parler dès la première phrase pendant que le reste de la réponse est encore en cours d'écriture. Notre guide sur la latence détaille chaque étape avec des chiffres.
Comment Neocortex fait tourner la chaîne
Avec Neocortex, vous ne reliez pas trois services entre eux. Vous créez un personnage dans l'éditeur web avec sa personnalité, sa base de connaissances, ses émotions, ses actions et sa voix, et le SDK gère la chaîne :
- Reconnaissance vocale de la voix du joueur, dans plus de 20 langues, à partir d'un seul composant de micro dans Unity, Unreal et Godot. Un nœud Vocabulary liste les noms de votre monde, pour que « Varrowmere » soit bien reconnu comme Varrowmere.
- La réponse revient avec une émotion, comme
HAPPY,CURIOUSouANNOYED, plus les actions choisies par le personnage, si bien que votre jeu n'a jamais à analyser du texte libre. - Synthèse vocale avec la voix propre au personnage. Dans Unity, Godot et le SDK Web, elle est diffusée en streaming, donc le personnage commence à parler avant que la réponse entière ne soit prête.
Si vous préférez l'appeler vous-même, l'API Web fait la même chose en HTTP. Un tour de texte correspond à une seule requête :
curl -X POST https://api.neocortex.link/v3/chat \
-H "x-api-key: $NEOCORTEX_API_KEY" \
-H "Content-Type: application/json" \
-d '{ "characterIds": ["CHARACTER_ID"], "message": "Is the north road safe?" }'La réponse contient un sessionId et un tableau messages, où chaque message a des lines (chacune avec un text et une emotion), des actions et un flowState. Renvoyez le sessionId avec le message suivant pour poursuivre la conversation.
Choisir ce dont votre PNJ a besoin
Tous les PNJ n'ont pas besoin de la chaîne complète :
- Les personnages d'arrière-plan peuvent rester sur des barks écrits. Aucune IA nécessaire.
- Les donneurs de quêtes et les commerçants fonctionnent bien en chat écrit avec TTS : le joueur tape et le personnage parle.
- Les compagnons et les personnages VR profitent le plus de la voix complète, car les joueurs parlent déjà à voix haute ou ont les mains occupées.
- Accessibilité. La saisie vocale aide les joueurs qui trouvent la frappe difficile, et les réponses parlées aident ceux qui trouvent la lecture difficile. Proposez les deux sens comme options, pas comme obligations.
Construire dans votre moteur
Chaque guide de moteur de cette série met en place la même chaîne, étape par étape :
- Comment ajouter un personnage IA à votre jeu Unity, puis le chat vocal pour les PNJ IA dans Unity
- Comment ajouter des PNJ IA à Unreal Engine 5
- Comment ajouter des dialogues de PNJ IA dans Godot 4
Tous sont rassemblés dans notre guide pour créer des PNJ IA.
Questions fréquentes
Quelle est la différence entre STT et TTS ?
Ils fonctionnent dans des sens opposés. La reconnaissance vocale (STT) transforme la voix du joueur en texte que le jeu peut lire, et la synthèse vocale (TTS) transforme la réponse écrite du personnage en audio. Un PNJ doté de voix a besoin des deux, avec un modèle de langage entre les deux.
Ai-je besoin d'un LLM pour un PNJ qui parle ?
Seulement si le PNJ doit répondre à des choses que vous n'avez pas scriptées. Les répliques préenregistrées n'ont besoin d'aucun modèle. Pour une conversation ouverte, il faut de la STT, un LLM et de la TTS, et Neocortex fait tourner les trois derrière un seul personnage.
À quelle vitesse un PNJ IA doté de voix peut-il répondre ?
Le délai est la somme du temps d'attente que le joueur finisse de parler, de la transcription, de l'écriture des premiers mots et de leur prononciation. C'est le streaming de chaque étape vers la suivante qui permet de descendre près d'une seconde. Neocortex fait parler une réponse pendant qu'elle est encore en cours d'écriture.
Puis-je utiliser mes propres voix pour un PNJ IA ?
Oui. Neocortex dispose d'une bibliothèque de voix standard, et de voix personnalisées avec la formule Pro (5) et la formule Team (20). Chaque personnage conserve sa voix dans Unity, Unreal, Godot et sur le web.
La conversation vocale avec un PNJ IA fonctionne-t-elle hors ligne ?
Seulement si les trois modèles tournent sur l'appareil du joueur. Neocortex tourne dans le cloud par défaut, et les studios peuvent organiser un runtime sur l'appareil avec une formule Custom.






