PNJ vocaux avec l'API Realtime d'OpenAI ou avec Neocortex
Vous pouvez brancher l'API Realtime d'OpenAI sur Unity vous-même. Voici tout ce que cela implique, et quand une plateforme prête pour les jeux comme Neocortex vous fait gagner des semaines.
Neocortex TeamThe team behind Neocortex
· Mis à jour le 20 oct. 2026 · 5 min de lecture

Un vendredi soir, vous branchez un microphone sur gpt-realtime-2.1, vous écrivez un prompt système pour un forgeron grincheux, et dimanche il se moque à voix haute de vos choix d'armure. Cela ressemble à un travail terminé. Ce n'est pas le cas.
Les modèles speech-to-speech font d'une démo de PNJ parlant l'affaire d'un après-midi. Livrer ce PNJ aux joueurs prend beaucoup plus de temps, et presque tout le travail supplémentaire ne concerne pas le modèle. Cet article détaille ce que représente la construction de PNJ vocaux directement sur l'API Realtime d'OpenAI dans Unity, et la place de Neocortex.
Ce que fournit l'API Realtime
- Des modèles speech-to-speech, menés actuellement par gpt-realtime-2.1, avec un effort de raisonnement configurable, l'appel de fonctions et une fenêtre de contexte de 128K.
- Des connexions via WebRTC pour les navigateurs et le mobile, WebSocket depuis un serveur, et SIP pour les appels téléphoniques.
- Des secrets client de courte durée que votre serveur crée pour chaque session, afin que la clé API ne quitte jamais le serveur.
- Des voix intégrées, au nombre de dix. La voix ne peut plus changer une fois que le modèle a parlé dans une session.
- Des voix personnalisées à partir d'enregistrements, réservées aux clients éligibles qui contactent les ventes d'OpenAI, avec un enregistrement de consentement du titulaire de la voix.
- Une tarification au jeton pour l'audio et le texte, en entrée et en sortie.
- Des sessions limitées à 60 minutes.
- Des SDK officiels pour JavaScript, Python, .NET, Java, Go et Ruby. Le support Unity provient de bibliothèques communautaires.
Faire soi-même avec OpenAI Realtime ou utiliser Neocortex
| Faire soi-même avec OpenAI Realtime | Neocortex | |
|---|---|---|
| Client Unity | Écrire le vôtre, ou adopter une bibliothèque communautaire | SDK Unity, Unity 6, six scènes d'exemple |
| Gestion des sessions | Serveur de secrets client, reconnexion avant 60 minutes | Aucune limite de session : chaque tour est un appel API distinct |
| Conception du personnage | Prompts dans le code | Éditeur de nœuds visuel |
| Voix | Voix intégrées ; voix personnalisées pour les clients éligibles | Clonage et conception de voix avec Pro et Team |
| Actions de jeu | Relier les appels de fonctions | Actions avec identifiants de cible et objets de scène intégrés |
| Structure narrative | Votre propre machine à états | Conversation Flows avec points de contrôle flowState |
| Moteurs | Ce que vous construisez | Unity, Unreal Engine 5, Godot, API Web |
| Choix du modèle | Modèles OpenAI | Géré pour vous, plus des modèles locaux via Ollama dans Unity pour les prototypes de chat textuel |
| Coût | Jetons audio et texte | Formules mensuelles avec un quota d'usage |
Les huit choses que vous construiriez vous-même
Pour livrer un PNJ vocal sur l'API Realtime, votre équipe prend en charge :
- Un client audio Unity qui capte le microphone, le diffuse en flux et lit la réponse sans coupure, y compris dans les builds WebGL, où Unity ne dispose d'aucune entrée microphone intégrée.
- Un petit backend qui authentifie les joueurs et crée un secret client par session, car votre clé API ne doit jamais se retrouver dans un build de jeu.
- La conception du personnage sous forme de prompts, cohérents à chaque mise à jour du modèle et pour chaque rédacteur qui y touche.
- Le cycle de vie des sessions : se reconnecter avant la limite de 60 minutes, et reporter la conversation au-delà de la coupure.
- L'intégration au jeu, pour que les appels de fonctions se traduisent en actions sur les bons objets de votre scène.
- Les garde-fous, pour que le forgeron reste forgeron quand les joueurs tentent d'en faire autre chose.
- La maîtrise des coûts, puisque chaque seconde d'audio entrant et sortant est facturée en jetons.
- La maintenance à chaque changement de modèles, de prix ou d'API, sur chaque moteur sur lequel vous livrez.
Rien de cela n'est impossible. Tout cela représente du temps que vous ne consacrez pas à votre jeu.
Un PNJ marchand, construit des deux façons
Imaginons que le joueur entre dans une boutique et demande au propriétaire une potion de soin. Le propriétaire doit répondre dans son rôle, paraître agacé si le joueur a été impoli plus tôt, et remettre réellement l'objet.
Avec l'API Realtime
Vous écrivez un prompt décrivant le marchand et le stock de la boutique, et vous définissez une fonction give_item.
Votre backend crée un secret client, votre client Unity ouvre la session, diffuse la voix du joueur et joue la réponse. Quand le modèle appelle give_item, votre code trouve la potion et la place dans l'inventaire.
Pour l'humeur du marchand, vous suivez l'impolitesse dans l'état du jeu et l'injectez dans le prompt, puis vous ajoutez un signal d'animation en analysant le texte ou en demandant au modèle une sortie structurée. Si la voix doit être unique à ce personnage, vous vérifiez si vous êtes éligible aux voix personnalisées.
Avec Neocortex
Vous construisez le marchand dans l'éditeur visuel : Personnalité et Émotion de départ pour le tempérament, Connaissances pour la liste du stock, une Intention pour l'achat et une Action pour remettre un objet. Vous clonez ou concevez une voix pour lui.
Dans Unity, votre jeu envoie les objets proches et les événements récents, y compris la remarque impolie du joueur. La réponse arrive sous forme de répliques avec une étiquette d'émotion, pour que l'animateur sache qu'il est agacé, ainsi qu'une action comme { "name": "GIVE_ITEM", "targetId": "potion_01" } que votre jeu exécute.
Vous testez d'abord tout l'échange dans le navigateur.
Les deux versions utilisent un modèle performant. La différence tient à l'endroit où vit le marchand : dans une chaîne de prompt et du code de liaison que vos ingénieurs maintiennent, ou dans un personnage qu'un game designer peut ouvrir, lire et modifier sans toucher au build.
Construire le jeu, pas la plomberie
Le vrai coût de la voie « faire soi-même » apparaît après le lancement. Une mise à jour du modèle change la façon dont le forgeron s'exprime, une modification de prix modifie vos marges, une nouvelle version de Unity casse la bibliothèque communautaire sur laquelle vous vous appuyiez. Chacun de ces événements tombe sur votre équipe, souvent pendant qu'elle est occupée ailleurs.
L'API Realtime est un modèle autour duquel vous construisez une pile vocale. Neocortex est cette pile vocale, avec le personnage, les SDK des moteurs et les points d'accroche de gameplay déjà en place, maintenus par nous à mesure que les modèles et les API évoluent. Les designers modifient la personnalité, l'émotion, les connaissances, les intentions et les actions sous forme de nœuds dans un graphe plutôt qu'un prompt enfoui dans le code, et vos ingénieurs consacrent leurs semaines au jeu.
Les informations sur OpenAI ont été vérifiées pour la dernière fois en octobre 2026.
Questions fréquentes
L'API Realtime d'OpenAI dispose-t-elle d'un SDK Unity ?
Non. Les SDK officiels d'OpenAI couvrent JavaScript, Python, .NET, Java, Go et Ruby, et le support Unity provient de bibliothèques communautaires. Neocortex dispose d'un SDK Unity pour Unity 6 avec six scènes d'exemple, ainsi que pour Unreal Engine 5, Godot et d'une API Web.
Combien de temps peut durer une session Realtime d'OpenAI ?
Les sessions Realtime sont limitées à 60 minutes : les longues parties exigent donc une logique de reconnexion et un moyen de reporter le contexte. Avec Neocortex, chaque tour est un appel API distinct et le SDK s'en charge ; il n'y a donc aucune session qui expire, et vous travaillez avec les réponses et les actions.
L'API Realtime d'OpenAI prend-elle en charge les voix personnalisées ?
Les voix personnalisées à partir d'enregistrements sont réservées aux clients éligibles qui passent par les ventes d'OpenAI ; les autres choisissent parmi les voix intégrées. Neocortex vous permet de cloner une voix à partir d'un court échantillon dont vous avez les droits, ou de concevoir une voix à partir d'une description écrite, avec 5 voix personnalisées avec Pro et 20 avec Team.
Comment l'API Realtime d'OpenAI est-elle tarifée ?
Au jeton de texte et d'audio, en entrée et en sortie, si bien que chaque seconde de parole alourdit la facture. Les formules Neocortex sont mensuelles, avec un quota d'usage.






