Neocortex Logo

Formation aux soft skills en VR avec l'IA : jeux de rôle

Créez une formation aux soft skills en VR avec Neocortex : des personnages de jeu de rôle IA sur Meta Quest qui réagissent à ce que disent les apprenants, suivent des points de contrôle et alimentent un débriefing.

Neocortex TeamThe team behind Neocortex

· 6 min de lecture

Créez une formation aux soft skills en VR avec Neocortex : des personnages de jeu de rôle IA sur Meta Quest qui réagissent à ce que disent les apprenants, suivent des points de contrôle et alimentent un débriefing.

La plupart des formations aux soft skills passent encore par une vidéo, un QCM et peut-être un jeu de rôle gênant avec un collègue qui vous ménage. Neocortex permet à un scénario en VR de placer l'apprenant face à un personnage qui ne vous ménage pas : un client mécontent, un patient nerveux ou un acheteur difficile qui réagit à chaque mot choisi et se calme ou s'énerve comme le ferait une vraie personne.

À quoi ça ressemble

The Albury est un hôtel de ville imaginaire, reconstruit en VR pour un programme de formation à l'hôtellerie. Une nouvelle apprentie réceptionniste chausse un casque Meta Quest et se retrouve derrière le comptoir de la réception à onze heures du soir. Par la porte tournante entre Harriet Lowe, qui tire une valise et est déjà contrariée. Sa chambre a été attribuée à quelqu'un d'autre il y a une heure.

Harriet : J'ai réservé cette chambre il y a quatre mois. Quatre. Et vous me dites qu'elle n'est plus disponible ? Apprentie : Ce n'est pas acceptable, et je suis désolée. Laissez-moi voir ce que je peux faire pour vous tout de suite. Harriet : Très bien. Mais je ne dormirai pas dans un placard à balais.

L'apprentie consulte l'écran de réservation virtuel, et l'application envoie un événement : une suite est libre au dernier étage. Elle la propose au tarif initial, petit-déjeuner compris. La réplique suivante de Harriet revient marquée comme soulagée, elle décroise les bras, et la réponse porte une action TAKE_KEYCARD que l'application joue comme un geste de Harriet qui attrape la carte.

Une autre apprentie joue le même scénario et commence par « Eh bien, c'est la politique de l'hôtel. » L'émotion de Harriet passe à la colère, sa réponse porte ASK_FOR_MANAGER, et la scène devient plus difficile. Aucun des deux chemins n'est scénarisé à l'avance. Le formateur a défini qui est Harriet, ce qu'elle veut et les points de contrôle par lesquels passe une bonne réponse.

À la fin de la scène, le casque affiche un débriefing : les points de contrôle atteints par l'apprenante, et quatre questions rapides sur ce que disent les consignes de l'hôtel pour les réclamations.

Comment Neocortex fait fonctionner le tout

  • Personnages IA. Harriet est conçue dans l'éditeur de nœuds visuel de Neocortex : personnalité, passé, ce qu'elle attend, ce qui va la calmer et ce qui va envenimer la situation. Les formateurs peuvent la répéter dans le tableau de bord du navigateur avant que quiconque construise le hall.
  • Émotions. Chaque réplique porte une balise d'émotion. Votre système d'animation les traduit en posture et en expression, si bien que l'apprenant lit le client comme il le ferait à un vrai comptoir.
  • Conversation Flows. Des nœuds Start, Checkpoint et End définissent le scénario : reconnaître le problème, s'excuser, proposer une solution, confirmer l'étape suivante. Chaque réponse renvoie un mot-clé flowState que votre application enregistre pour l'évaluation. Les flows sont disponibles sur toutes les formules.
  • Événements. Ce que fait l'apprenant de ses mains compte aussi. Consulter l'écran de réservation, appeler le service d'étage ou remettre un bon sont envoyés comme événements, et Harriet y réagit.
  • Actions. TAKE_KEYCARD, ASK_FOR_MANAGER ou WALK_AWAY reviennent avec les réponses, et votre scène les joue.
  • Voix, reconnaissance vocale et synchronisation labiale. Les apprenants parlent naturellement dans le casque, le personnage répond avec une voix en flux, et le SDK Unity pilote ses blend shapes faciaux pour que sa bouche suive les mots.
  • Moteur de quiz. Des séries de questions et le score passent par l'API pour alimenter le débriefing (formule Team).
  • Contrôle de l'usage. Envoyez un playerId par apprenant et suivez l'usage par joueur et par personnage, avec des analyses dans le tableau de bord, pour qu'un responsable de programme voie qui s'est entraîné et à quelle fréquence.
  • Base de connaissances. Importez les consignes de service de l'entreprise pour qu'un personnage coach puisse expliquer dans le débriefing ce que la politique autorise réellement.

Idées à construire

Accueil d'un patient. Un patient nerveux, Tomasz, arrive pour une intervention qu'il redoute et donne des réponses courtes et évasives. L'infirmière en formation doit le rassurer tout en recueillant ses antécédents. Les points de contrôle vérifient si les allergies, les médicaments et le consentement ont été abordés, et ses balises d'émotion montrent s'il se détend ou se ferme.

Entraînement à la gestion des objections commerciales. Une responsable des achats, Ruth Ambler, aime le produit, déteste le prix et a un devis moins cher d'un autre fournisseur sur son bureau. Les commerciaux en formation s'exercent à traiter chaque objection l'une après l'autre. Le flow enregistre s'ils ont interrogé sur sa vraie contrainte avant de proposer une remise, et un quiz à la fin vérifie qu'ils connaissent les règles tarifaires.

Formation à la désescalade. Un client d'un magasin bondé crie à propos d'un remboursement, et l'apprenant est un agent de sécurité ou un responsable de magasin. Les événements de la scène, comme un attroupement qui se forme ou un collègue qui arrive, font monter ou descendre la tension. Une action CALM_DOWN ou STORM_OUT indique à l'application comment la scène s'est terminée.

La deuxième voix. Pour les scènes à deux personnes, comme un couple qui se dispute à la réception de l'hôtel, le chat de groupe réunit les deux personnages dans une même conversation (formules Pro et Team). Les Conversation Flows ne fonctionnent pas en chat de groupe : évaluez donc ces scènes à partir des événements et de votre propre notation.

Construire la formation

La formation en VR tourne sur Meta Quest via Unity avec le XR Interaction Toolkit et le SDK Unity. Notre démo VR open source est un bon point de départ pour la partie casque.

  1. Écrivez le scénario comme le ferait un formateur. Qui est le personnage, ce qui a mal tourné, à quoi ressemble une bonne issue et les erreurs que vous voulez faire vivre aux apprenants.
  2. Créez le personnage dans l'éditeur visuel avec personnalité, voix, émotions et quelques actions de langage corporel.
  3. Transformez les critères d'évaluation en Conversation Flow, avec un point de contrôle pour chaque comportement que vous voulez observer.
  4. Répétez dans le tableau de bord avec des réponses bonnes, moyennes et mauvaises, jusqu'à ce que le personnage réagisse comme l'attend un formateur expérimenté.
  5. Construisez la scène à partir de la démo VR : micro en entrée, voix et synchronisation labiale en sortie, actions reliées aux animations, événements pour ce que fait l'apprenant.
  6. Enregistrez les états du flow pour chaque apprenant, ajoutez un quiz de débriefing avec la formule Team, et consultez l'usage dans le tableau de bord.

Rendez la première version de chaque personnage un peu plus facile que la réalité. Les apprenants qui réussissent une fois sont plus enclins à rejouer la version difficile, où le client ne se calme pas si vite.

La formation aux soft skills figure parmi les usages de notre page sur les cas d'usage des NPC IA, de l'IA ambiante et des commandes vocales. Pour d'autres idées en VR, lisez personnages IA pour escape rooms VR, et pour les jeux de rôle en classe, voyez partenaires de conversation IA pour la pratique des langues. Les pages éducation et formation et expériences VR couvrent le reste. Commencez par un client difficile et quatre points de contrôle.

Vérifié en octobre 2026.

Questions fréquentes

Peut-on utiliser des personnages IA pour la formation aux soft skills en VR ?

Oui. Les personnages Neocortex tournent dans des applications Meta Quest construites avec Unity et le XR Interaction Toolkit. Les apprenants leur parlent, et les personnages répondent avec leur propre voix et une émotion qui reflète le déroulement de la conversation.

Comment évaluer un apprenant dans un jeu de rôle IA ?

Concevez le scénario comme un Conversation Flow Neocortex avec des points de contrôle, par exemple reconnaître le problème ou proposer une solution. Chaque réponse renvoie un mot-clé flowState, pour que votre application enregistre les points de contrôle atteints par l'apprenant.

Un scénario de formation en VR peut-il se terminer par un quiz ?

Oui. Le moteur de quiz de Neocortex fait tourner des séries de questions et le score via l'API avec la formule Team, ce qui convient à un bref débriefing après chaque jeu de rôle.

Peut-on suivre l'usage de la formation IA par apprenant ?

Oui. Envoyez un identifiant de joueur avec chaque requête, et Neocortex suit l'usage et les limites par joueur et par personnage, avec des analyses dans le tableau de bord.

Articles similaires

À lire aussi