Neocortex Logo

Comment ajouter un chat vocal aux PNJ IA dans Unity

Ajoutez un chat vocal aux PNJ IA dans Unity : entrée micro avec détection de voix ou push-to-talk, réponses parlées, lip sync et configuration WebGL, Android et iOS.

Sercan AltundasFounder of Neocortex

· 9 min de lecture

Ajoutez un chat vocal aux PNJ IA dans Unity : entrée micro avec détection de voix ou push-to-talk, réponses parlées, lip sync et configuration WebGL, Android et iOS.

Écrire à un personnage, c'est bien. Lui parler et entendre une réponse dans sa propre voix, c'est tout autre chose. Ce guide ajoute un chat vocal complet à un PNJ IA dans Unity avec le SDK Neocortex : le micro du joueur en entrée, une réponse parlée en sortie, plus le lip sync et les détails propres à chaque plateforme qui prennent d'habitude une semaine à trouver.

Comment fonctionne le chat vocal dans le SDK

Un tour de parole traverse trois étapes : la reconnaissance vocale entend le joueur, le personnage rédige une réponse, et la synthèse vocale la prononce. Notre guide sur le pipeline vocal des PNJ IA détaille chacune d'elles. Dans Unity, vous ne les reliez pas vous-même : le SDK gère toute la chaîne à partir de trois composants sur un même GameObject.

ComposantRôle
Neocortex Smart AgentLe personnage : envoie l'enregistrement, reçoit la réponse
Neocortex Audio ReceiverLe micro, sur desktop, Android, iOS et WebGL
Audio SourceLà où joue la voix du personnage

Si vous n'avez pas encore installé le SDK, commencez par comment ajouter un personnage IA à votre jeu Unity.

Étape 1 : le PNJ vocal sans code

Ajoutez les trois composants au GameObject de votre personnage, puis choisissez le personnage dans la liste déroulante du Smart Agent. Avec Auto Voice Input activé (par défaut), l'agent trouve le récepteur, envoie chaque enregistrement comme message vocal et rouvre le micro après chaque réponse. Appuyez sur Play et parlez.

Le plus rapide est de faire un clic droit dans la Hierarchy > Neocortex > Complete Voice Chat, ce qui construit le même montage avec un panneau de chat et un bouton de micro.

Étape 2 : choisir la détection de voix ou le push-to-talk

L'Audio Receiver écoute par défaut avec la détection de voix. Trois réglages la façonnent :

  • Amplitude Threshold (par défaut 0,1) : le niveau sonore que le joueur doit atteindre pour être considéré comme en train de parler. Augmentez-le dans les pièces bruyantes.
  • Max Wait Time (par défaut 1 seconde) : le silence qui termine une phrase. Plus court paraît plus rapide, mais coupe les locuteurs lents.
  • Lead In (par défaut 0,3 seconde) : audio conservé juste avant que le joueur ne commence, pour que les premières syllabes ne soient pas coupées.

Pour le push-to-talk, basculez le récepteur et démarrez-le ou arrêtez-le depuis votre propre entrée. Cet exemple utilise le Input System de Unity :

using UnityEngine;
using UnityEngine.InputSystem;
using Neocortex;

public class PushToTalk : MonoBehaviour
{
    [SerializeField] private NeocortexAudioReceiver microphone;

    private void Start() => microphone.SetPushToTalk(true);

    private void Update()
    {
        var keyboard = Keyboard.current;
        if (keyboard == null) return;
        if (keyboard.vKey.wasPressedThisFrame) microphone.StartMicrophone();
        if (keyboard.vKey.wasReleasedThisFrame) microphone.StopMicrophone();
    }
}

Relâcher V arrête l'enregistrement, et l'agent l'envoie aussitôt. Pour un bouton à l'écran, le Neocortex Push To Talk Button du SDK fait la même chose à l'appui et au relâchement, et le Neocortex Microphone Dropdown permet aux joueurs de choisir leur périphérique.

Étape 3 : régler la réponse parlée

Le Chat Lines Mode du Smart Agent décide de la manière dont la réponse est prononcée :

  • PerLineAudio prononce chaque réplique dès son début, si bien qu'une longue réponse commence à être dite rapidement.
  • SingleAudio prononce toute la réponse en un seul clip.
  • Off vous remet le clip via OnAudioResponseReceived sans rien jouer, pour votre propre système audio.

La voix est diffusée en flux depuis nos serveurs et démarre après une fraction de seconde de tampon, si bien que le personnage commence à parler avant que le clip complet n'existe. La voix suit l'émotion de chaque réplique : une réplique alarmée sonne alarmée.

Deux événements aident à la présentation : OnTranscriptionReceived vous donne ce que le joueur a dit, pour des sous-titres ou une ligne « vous avez dit », et OnChatLineStarted vous donne chaque réplique de la réponse au moment où elle commence.

Étape 4 : ajouter le lip sync

Ajoutez le Neocortex Face Animator (Add Component > Neocortex) au personnage. Il trouve l'agent et la source audio, et anime la bouche à partir du texte prononcé, à l'aide de blend shapes nommés selon ARKit, comme JawOpen et MouthFunnel. Les avatars Ready Player Me les incluent par défaut. La correspondance entre émotions et expressions du visage vous revient : notre guide sur les PNJ IA émotionnels propose un tableau pratique.

Remarques par plateforme

  • Android et iOS : le récepteur demande lui-même l'autorisation du micro à la première utilisation. Son événement On Permission Denied vous permet d'afficher un message ou de revenir au texte.
  • WebGL : le micro de Unity n'existe pas dans les navigateurs. Sélectionnez le template WebGL Neocortex sous Player Settings > Resolution and Presentation (le SDK l'importe dans votre projet, et Tools > Neocortex > Import WebGL Template le restaure). Hébergez le build en HTTPS, car les navigateurs n'autorisent le micro que sur les pages sécurisées. Si le template n'est pas sélectionné, la console avertit que l'entrée micro ne fonctionnera pas.
  • Desktop : les joueurs peuvent devoir autoriser l'accès au micro dans les paramètres de confidentialité de leur système d'exploitation, la première fois.

Problèmes courants

  • Le PNJ répond à sa propre voix. Sur des haut-parleurs, le micro peut entendre la réponse. La détection de voix se rouvre à la fin de la réponse, mais le push-to-talk ou un casque évitent totalement le problème.
  • Les joueurs sont coupés en pleine phrase. Augmentez un peu Max Wait Time, ou passez au push-to-talk.
  • De petits clics déclenchent des réponses. Les sons de moins de 0,15 seconde sont déjà ignorés. Augmentez Amplitude Threshold si le bruit de fond passe encore.
  • Rien ne se passe dans une version web. Vérifiez d'abord le template WebGL et le HTTPS.

Pour aller plus loin

La voix est l'endroit où la latence se voit le plus, donc lisez comment obtenir des réponses vocales de PNJ IA en moins d'une seconde. Pour donner à vos répliques écrites la même voix, consultez la synthèse vocale pour les dialogues de PNJ dans Unity, et pour les casques, les personnages IA dans un jeu Meta Quest. Tous les tutoriels figurent dans le guide pour construire des PNJ IA.

Questions fréquentes

Comment ajouter un chat vocal avec un PNJ IA dans Unity ?

Placez un Neocortex Smart Agent, une Audio Source et un Neocortex Audio Receiver sur un même GameObject. Le récepteur enregistre le joueur, l'agent le transcrit et répond avec la voix du personnage. Cela fonctionne sans code, et le push-to-talk est un simple réglage.

La reconnaissance vocale de Unity fonctionne-t-elle en WebGL ?

La classe Microphone de Unity ne fonctionne pas dans les navigateurs. Le SDK Neocortex fait entrer le micro du navigateur dans Unity grâce à son template WebGL, si bien que les PNJ vocaux fonctionnent dans les versions web servies en HTTPS.

Push-to-talk ou détection de voix pour le chat vocal d'un PNJ ?

Le push-to-talk ne coupe jamais le joueur et convient aux jeux PC et manette. La détection de voix se fait sans les mains, ce qui convient à la VR. Le Neocortex Audio Receiver fait les deux : détection de voix par défaut, push-to-talk avec un seul interrupteur.

Un PNJ IA Unity peut-il faire du lip sync ?

Oui. Ajoutez le Neocortex Face Animator au personnage. Il anime la bouche à partir du texte prononcé sur des blend shapes nommés selon ARKit, que possèdent les avatars Ready Player Me.

Les PNJ vocaux fonctionnent-ils sur Android et iOS ?

Oui. Le Neocortex Audio Receiver demande lui-même l'autorisation du micro sur Android et iOS, et le même composant fonctionne sur desktop et en WebGL.

Articles similaires

À lire aussi