Neocortex Logo

Голосовые NPC на OpenAI Realtime API или на Neocortex

Подключить OpenAI Realtime API к Unity можно самому. Вот все, что это включает, и когда готовая для игр платформа вроде Neocortex экономит недели работы.

Neocortex TeamThe team behind Neocortex

· Обновлено 20 окт. 2026 г. · 5 мин чтения

Подключить OpenAI Realtime API к Unity можно самому. Вот все, что это включает, и когда готовая для игр платформа вроде Neocortex экономит недели работы.

В пятницу вечером вы подключаете микрофон к gpt-realtime-2.1, пишете системный промпт для ворчливого кузнеца, и к воскресенью он вслух высмеивает ваш выбор доспехов. Выглядит законченным. Но это не так.

Модели speech-to-speech делают демо говорящего NPC работой на полдня. Выпустить такого NPC игрокам гораздо дольше, и почти вся дополнительная работа касается не самой модели. В этом посте расписано, что включает создание голосовых NPC напрямую на OpenAI Realtime API в Unity, и где в этой картине находится Neocortex.

Что дает Realtime API

  • Модели speech-to-speech, сейчас во главе с gpt-realtime-2.1, с настраиваемым уровнем рассуждений, вызовом функций и окном контекста 128K.
  • Подключения по WebRTC для браузеров и мобильных устройств, WebSocket с сервера и SIP для телефонных звонков.
  • Короткоживущие клиентские секреты, которые ваш сервер создает для каждой сессии, так что API-ключ остается вне клиента.
  • Встроенные голоса, их десять. Голос нельзя сменить, как только модель заговорила в сессии.
  • Пользовательские голоса по записям, доступные только подходящим клиентам, которые связываются с отделом продаж OpenAI, с записью согласия от владельца голоса.
  • Тарификация по токенам для аудио и текста, на вход и на выход.
  • Сессии ограничены 60 минутами.
  • Официальные SDK для JavaScript, Python, .NET, Java, Go и Ruby. Поддержка Unity идет через библиотеки сообщества.

Самостоятельная работа на OpenAI Realtime или Neocortex

Самостоятельно на OpenAI RealtimeNeocortex
Клиент для UnityНапишите свой или возьмите библиотеку сообществаSDK для Unity, Unity 6, шесть примерных сцен
Управление сессиейСервер клиентских секретов, переподключение до 60 минутБез ограничения сессии: каждый ход - отдельный вызов API
Дизайн персонажаПромпты в кодеВизуальный редактор узлов
ГолосВстроенные голоса; пользовательские для подходящих клиентовКлонирование и создание голоса на Pro и Team
Игровые действияПодключить вызовы функцийДействия с ID целей и объектами сцены встроены
Структура историиСобственная машина состоянийConversation Flows с контрольными точками flowState
ДвижкиЧто вы сами построитеUnity, Unreal Engine 5, Godot, Web API
Выбор моделиМодели OpenAIВедется за вас, плюс локальные модели через Ollama в Unity для прототипов текстового чата
СтоимостьТокены аудио и текстаМесячные тарифы с лимитом использования

Восемь вещей, которые вы построили бы сами

Чтобы выпустить NPC с голосом на Realtime API, ваша команда отвечает за:

  1. Аудиоклиент в Unity, который захватывает микрофон, передает его потоком и проигрывает ответ без разрывов, в том числе в сборках WebGL, где в Unity нет встроенного ввода с микрофона.
  2. Небольшой бэкенд, который аутентифицирует игроков и выпускает клиентский секрет на каждую сессию, потому что ваш API-ключ никогда не должен попадать в сборку игры.
  3. Дизайн персонажа как промптов, который остается согласованным при каждом обновлении модели и у каждого автора, кто к нему прикасается.
  4. Жизненный цикл сессии: переподключение до ограничения в 60 минут и перенос разговора через разрыв.
  5. Интеграция с игрой, чтобы вызовы функций превращались в действия над нужными объектами на вашей сцене.
  6. Защитные ограничения, чтобы кузнец оставался кузнецом, когда игроки попытаются сделать из него что-то другое.
  7. Контроль стоимости, ведь каждая секунда аудио на входе и выходе оплачивается токенами.
  8. Сопровождение при каждом изменении моделей, цен или API во всех движках, на которых вы выпускаете игру.

Ничто из этого невозможно. Но все это время, которое вы не тратите на свою игру.

Торговец-NPC, сделанный обоими способами

Допустим, игрок заходит в лавку и просит у владельца зелье исцеления. Владелец должен ответить в образе, звучать раздраженно, если игрок грубил раньше, и действительно передать предмет.

На Realtime API

Вы пишете промпт, описывающий торговца и его товары, и определяете функцию give_item. Ваш бэкенд выпускает клиентский секрет, ваш клиент в Unity открывает сессию, передает голос игрока и проигрывает ответ. Когда модель вызывает give_item, ваш код находит зелье и переносит его в инвентарь. Чтобы передать настроение торговца, вы отслеживаете грубость в состоянии игры и вставляете ее в промпт, а затем добавляете сигнал для анимации, разбирая текст или запрашивая у модели структурированный вывод. Если голос должен быть уникальным для этого персонажа, вы проверяете, подходите ли вы для пользовательских голосов.

На Neocortex

Вы создаете торговца в визуальном редакторе: узел Personality и стартовый узел Emotion для темперамента, Knowledge для списка товаров, Intent для покупки и Action для передачи предмета. Вы клонируете или создаете для него голос. В Unity ваша игра отправляет ближайшие объекты и недавние события, включая грубое замечание игрока. Ответ приходит как реплики с тегом эмоции, поэтому аниматор понимает, что он раздражен, а также действие вроде { "name": "GIVE_ITEM", "targetId": "potion_01" }, которое выполняет ваша игра. Весь обмен сначала тестируете в браузере.

Обе версии используют сильную модель. Разница в том, где живет торговец: в строке промпта и связующем коде, который поддерживают ваши инженеры, или в персонаже, который дизайнер может открыть, прочитать и изменить, не трогая сборку.

Делайте игру, а не инфраструктуру

Настоящая цена самостоятельного пути проявляется после запуска. Обновление модели меняет то, как кузнец формулирует фразы, изменение цен сдвигает вашу маржу, а новая версия Unity ломает библиотеку сообщества, на которую вы опирались. Каждое из этого падает на вашу команду, обычно когда она занята чем-то другим.

Realtime API - это модель, вокруг которой вы строите голосовой стек. Neocortex - и есть голосовой стек: персонаж, SDK для движков и игровые точки подключения уже на месте, и мы их поддерживаем по мере изменений моделей и API. Дизайнеры редактируют личность, эмоции, знания, интенты и действия как узлы графа, а не как промпт, спрятанный в коде, и ваши инженеры тратят недели на игру.

Детали OpenAI в последний раз проверялись в октябре 2026 года.

Часто задаваемые вопросы

Есть ли у OpenAI Realtime API SDK для Unity?

Нет. Официальные SDK OpenAI охватывают JavaScript, Python, .NET, Java, Go и Ruby, а поддержка Unity идет через библиотеки сообщества. У Neocortex есть SDK для Unity 6 с шестью примерными сценами, а также Unreal Engine 5, Godot и Web API.

Сколько может длиться сессия OpenAI Realtime?

Сессии Realtime ограничены 60 минутами, поэтому долгим игровым сессиям нужна логика переподключения и способ переносить контекст. С Neocortex каждый ход - отдельный вызов API, которым управляет SDK, поэтому сессии, которая может истечь по времени, нет, а вы работаете с ответами и действиями.

Поддерживает ли OpenAI Realtime API пользовательские голоса?

Пользовательские голоса по записям доступны только подходящим клиентам, которые проходят через отдел продаж OpenAI; остальные выбирают из встроенных голосов. Neocortex позволяет клонировать голос по короткому образцу, на который у вас есть права, или создать его по текстовому описанию, с 5 пользовательскими голосами на Pro и 20 на Team.

Как тарифицируется OpenAI Realtime API?

По токенам текста и аудио на входе и выходе, поэтому каждая секунда речи добавляет к счету. Тарифы Neocortex - месячные, с лимитом использования.

Похожие статьи

Читайте также