Neocortex Logo

NPCs com voz: API Realtime da OpenAI ou Neocortex

Dá para ligar a API Realtime da OpenAI ao Unity por conta própria. Veja tudo o que essa construção envolve e quando uma plataforma pronta para jogos, como a Neocortex, economiza semanas.

Neocortex TeamThe team behind Neocortex

· Atualizado em 20 de out. de 2026 · 5 min de leitura

Dá para ligar a API Realtime da OpenAI ao Unity por conta própria. Veja tudo o que essa construção envolve e quando uma plataforma pronta para jogos, como a Neocortex, economiza semanas.

Na sexta à noite você conecta um microfone ao gpt-realtime-2.1, escreve um prompt de sistema para um ferreiro rabugento e, no domingo, ele está xingando as suas escolhas de armadura em voz alta. Parece pronto. Não está.

Modelos de fala para fala fazem uma demo de NPC falante caber em uma tarde de trabalho. Entregar esse NPC aos jogadores leva bem mais tempo, e quase nenhum desse trabalho extra é sobre o modelo. Este post explica o que construir NPCs com voz diretamente sobre a API Realtime da OpenAI envolve no Unity, e onde a Neocortex se encaixa.

O que a API Realtime oferece

  • Modelos de fala para fala, liderados hoje pelo gpt-realtime-2.1, com esforço de raciocínio configurável, chamada de funções e uma janela de contexto de 128K.
  • Conexões via WebRTC para navegadores e celulares, WebSocket a partir de um servidor e SIP para chamadas telefônicas.
  • Client secrets de curta duração que o seu servidor cria para cada sessão, para que a chave de API fique fora do cliente.
  • Vozes integradas, dez no total. A voz não pode mudar depois que o modelo começou a falar em uma sessão.
  • Vozes personalizadas a partir de gravações, limitadas a clientes elegíveis que entram em contato com o time de vendas da OpenAI, com uma gravação de consentimento do dono da voz.
  • Preço por tokens para áudio e texto, de entrada e de saída.
  • Sessões limitadas a 60 minutos.
  • SDKs oficiais para JavaScript, Python, .NET, Java, Go e Ruby. O suporte ao Unity vem de bibliotecas da comunidade.

Fazer por conta própria com a Realtime vs Neocortex

Por conta própria com a Realtime da OpenAINeocortex
Cliente UnityEscreva o seu, ou adote uma biblioteca da comunidadeSDK para Unity, Unity 6, seis cenas de exemplo
Gestão de sessãoServidor de client secrets, reconectar antes dos 60 minutosSem limite de sessão: cada turno é uma chamada de API separada
Desenho do personagemPrompts no códigoEditor visual de nós
VozVozes integradas; vozes personalizadas para clientes elegíveisClonagem e criação de voz nos planos Pro e Team
Ações do jogoConectar as chamadas de funçãoAções com IDs de alvo e objetos de cena já integrados
Estrutura da históriaA sua própria máquina de estadosConversation Flows com checkpoints de flowState
EnginesOs que você construirUnity, Unreal Engine 5, Godot, Web API
Escolha de modeloModelos da OpenAIGerenciado para você, mais modelos locais pelo Ollama no Unity para protótipos de chat de texto
CustoTokens de áudio e textoPlanos mensais com franquia de uso

As oito coisas que você construiria sozinho

Para lançar um NPC com voz sobre a Realtime, a sua equipe fica responsável por:

  1. Um cliente de áudio no Unity que captura o microfone, transmite o áudio e reproduz a resposta sem falhas, inclusive em builds WebGL, onde o Unity não tem entrada de microfone integrada.
  2. Um pequeno backend que autentica os jogadores e gera um client secret por sessão, porque a sua chave de API nunca pode ir para o build do jogo.
  3. O desenho do personagem como prompts, mantido consistente a cada atualização de modelo e para cada roteirista que mexa neles.
  4. O ciclo de vida da sessão: reconectar antes do limite de 60 minutos e levar a conversa através da reconexão.
  5. A integração com o jogo, para que as chamadas de função virem ações nos objetos certos da sua cena.
  6. Proteções, para que o ferreiro continue ferreiro quando os jogadores tentarem transformá-lo em outra coisa.
  7. Controle de custos, já que cada segundo de áudio que entra e sai é cobrado em tokens.
  8. Manutenção sempre que modelos, preços ou APIs mudarem, em todos os engines em que você lança.

Nada disso é impossível. Tudo isso é tempo que você não está gastando no seu jogo.

Um NPC lojista, construído das duas formas

Imagine que o jogador entra em uma loja e pede ao dono uma poção de cura. O dono deve responder no personagem, parecer irritado se o jogador foi grosseiro antes e de fato entregar o item.

Na Realtime API

Você escreve um prompt descrevendo o lojista e o estoque da loja, e define uma função give_item. O seu backend gera um client secret, o seu cliente Unity abre a sessão, transmite a voz do jogador e reproduz a resposta. Quando o modelo chama give_item, o seu código encontra a poção e a move para o inventário. Para o humor do lojista, você registra a grosseria no estado do jogo e a injeta no prompt, e depois adiciona uma deixa de animação interpretando o texto ou pedindo ao modelo uma saída estruturada. Se a voz deve ser única para este personagem, você verifica se se qualifica para vozes personalizadas.

Na Neocortex

Você constrói o lojista no editor visual: Personality e uma Emotion inicial para o temperamento, Knowledge para a lista de estoque, uma Intent para comprar e uma Action para entregar um item. Você clona ou cria uma voz para ele. No Unity, o seu jogo envia os objetos próximos e os eventos recentes, incluindo a observação grosseira do jogador. A resposta chega como falas com uma tag de emoção, para que o animador saiba que ele está irritado, além de uma ação como { "name": "GIVE_ITEM", "targetId": "potion_01" } que o seu jogo executa. Você testa a troca inteira no navegador primeiro.

As duas versões usam um modelo capaz. A diferença está em onde o lojista vive: em uma string de prompt e em código de cola que os seus engenheiros mantêm, ou em um personagem que um designer pode abrir, ler e mudar sem tocar no build.

Construa o jogo, não o encanamento

O custo real da rota por conta própria aparece depois do lançamento. Uma atualização do modelo muda a forma como o ferreiro fala, uma mudança de preço altera as suas margens, uma nova versão do Unity quebra a biblioteca da comunidade de que você dependia. Cada uma dessas coisas cai sobre a sua equipe, geralmente enquanto ela está ocupada com outra coisa.

A API Realtime é um modelo em torno do qual você constrói uma pilha de voz. A Neocortex é a pilha de voz, com o personagem, os SDKs dos engines e os ganchos de jogabilidade já prontos, mantidos por nós conforme os modelos e as APIs mudam. Designers editam personalidade, emoção, conhecimento, intents e ações como nós em um grafo, em vez de um prompt enterrado no código, e os seus engenheiros passam as semanas no jogo.

Os detalhes da OpenAI foram verificados pela última vez em outubro de 2026.

Perguntas frequentes

A API Realtime da OpenAI tem um SDK para Unity?

Não. Os SDKs oficiais da OpenAI cobrem JavaScript, Python, .NET, Java, Go e Ruby, e o suporte ao Unity vem de bibliotecas da comunidade. A Neocortex tem um SDK para Unity 6 com seis cenas de exemplo, além de Unreal Engine 5, Godot e uma Web API.

Quanto tempo uma sessão da API Realtime da OpenAI pode durar?

As sessões Realtime são limitadas a 60 minutos, então sessões longas de jogo precisam de lógica de reconexão e de um jeito de levar o contexto adiante. Na Neocortex, cada turno é uma chamada de API separada e o SDK cuida disso, então não há sessão que expire, e você trabalha com respostas e ações.

A API Realtime da OpenAI suporta vozes personalizadas?

As vozes personalizadas a partir de gravações são limitadas a clientes elegíveis que passam pelo time de vendas da OpenAI; todos os outros escolhem entre as vozes integradas. A Neocortex permite clonar uma voz a partir de uma amostra curta sobre a qual você tenha os direitos, ou criar uma a partir de uma descrição em texto, com 5 vozes personalizadas no Pro e 20 no Team.

Como a API Realtime da OpenAI é cobrada?

Por tokens de texto e de áudio, de entrada e de saída, então cada segundo de fala aumenta a conta. Os planos da Neocortex são mensais com franquia de uso.

Artigos semelhantes

Continue lendo