Голосовые NPC на OpenAI Realtime API или на Neocortex
Подключить OpenAI Realtime API к Unity можно самому. Вот все, что это включает, и когда готовая для игр платформа вроде Neocortex экономит недели работы.
Neocortex TeamThe team behind Neocortex
· Обновлено 20 окт. 2026 г. · 5 мин чтения

В пятницу вечером вы подключаете микрофон к gpt-realtime-2.1, пишете системный промпт для ворчливого кузнеца, и к воскресенью он вслух высмеивает ваш выбор доспехов. Выглядит законченным. Но это не так.
Модели speech-to-speech делают демо говорящего NPC работой на полдня. Выпустить такого NPC игрокам гораздо дольше, и почти вся дополнительная работа касается не самой модели. В этом посте расписано, что включает создание голосовых NPC напрямую на OpenAI Realtime API в Unity, и где в этой картине находится Neocortex.
Что дает Realtime API
- Модели speech-to-speech, сейчас во главе с gpt-realtime-2.1, с настраиваемым уровнем рассуждений, вызовом функций и окном контекста 128K.
- Подключения по WebRTC для браузеров и мобильных устройств, WebSocket с сервера и SIP для телефонных звонков.
- Короткоживущие клиентские секреты, которые ваш сервер создает для каждой сессии, так что API-ключ остается вне клиента.
- Встроенные голоса, их десять. Голос нельзя сменить, как только модель заговорила в сессии.
- Пользовательские голоса по записям, доступные только подходящим клиентам, которые связываются с отделом продаж OpenAI, с записью согласия от владельца голоса.
- Тарификация по токенам для аудио и текста, на вход и на выход.
- Сессии ограничены 60 минутами.
- Официальные SDK для JavaScript, Python, .NET, Java, Go и Ruby. Поддержка Unity идет через библиотеки сообщества.
Самостоятельная работа на OpenAI Realtime или Neocortex
| Самостоятельно на OpenAI Realtime | Neocortex | |
|---|---|---|
| Клиент для Unity | Напишите свой или возьмите библиотеку сообщества | SDK для Unity, Unity 6, шесть примерных сцен |
| Управление сессией | Сервер клиентских секретов, переподключение до 60 минут | Без ограничения сессии: каждый ход - отдельный вызов API |
| Дизайн персонажа | Промпты в коде | Визуальный редактор узлов |
| Голос | Встроенные голоса; пользовательские для подходящих клиентов | Клонирование и создание голоса на Pro и Team |
| Игровые действия | Подключить вызовы функций | Действия с ID целей и объектами сцены встроены |
| Структура истории | Собственная машина состояний | Conversation Flows с контрольными точками flowState |
| Движки | Что вы сами построите | Unity, Unreal Engine 5, Godot, Web API |
| Выбор модели | Модели OpenAI | Ведется за вас, плюс локальные модели через Ollama в Unity для прототипов текстового чата |
| Стоимость | Токены аудио и текста | Месячные тарифы с лимитом использования |
Восемь вещей, которые вы построили бы сами
Чтобы выпустить NPC с голосом на Realtime API, ваша команда отвечает за:
- Аудиоклиент в Unity, который захватывает микрофон, передает его потоком и проигрывает ответ без разрывов, в том числе в сборках WebGL, где в Unity нет встроенного ввода с микрофона.
- Небольшой бэкенд, который аутентифицирует игроков и выпускает клиентский секрет на каждую сессию, потому что ваш API-ключ никогда не должен попадать в сборку игры.
- Дизайн персонажа как промптов, который остается согласованным при каждом обновлении модели и у каждого автора, кто к нему прикасается.
- Жизненный цикл сессии: переподключение до ограничения в 60 минут и перенос разговора через разрыв.
- Интеграция с игрой, чтобы вызовы функций превращались в действия над нужными объектами на вашей сцене.
- Защитные ограничения, чтобы кузнец оставался кузнецом, когда игроки попытаются сделать из него что-то другое.
- Контроль стоимости, ведь каждая секунда аудио на входе и выходе оплачивается токенами.
- Сопровождение при каждом изменении моделей, цен или API во всех движках, на которых вы выпускаете игру.
Ничто из этого невозможно. Но все это время, которое вы не тратите на свою игру.
Торговец-NPC, сделанный обоими способами
Допустим, игрок заходит в лавку и просит у владельца зелье исцеления. Владелец должен ответить в образе, звучать раздраженно, если игрок грубил раньше, и действительно передать предмет.
На Realtime API
Вы пишете промпт, описывающий торговца и его товары, и определяете функцию give_item.
Ваш бэкенд выпускает клиентский секрет, ваш клиент в Unity открывает сессию, передает голос игрока и проигрывает ответ. Когда модель вызывает give_item, ваш код находит зелье и переносит его в инвентарь.
Чтобы передать настроение торговца, вы отслеживаете грубость в состоянии игры и вставляете ее в промпт, а затем добавляете сигнал для анимации, разбирая текст или запрашивая у модели структурированный вывод. Если голос должен быть уникальным для этого персонажа, вы проверяете, подходите ли вы для пользовательских голосов.
На Neocortex
Вы создаете торговца в визуальном редакторе: узел Personality и стартовый узел Emotion для темперамента, Knowledge для списка товаров, Intent для покупки и Action для передачи предмета. Вы клонируете или создаете для него голос.
В Unity ваша игра отправляет ближайшие объекты и недавние события, включая грубое замечание игрока. Ответ приходит как реплики с тегом эмоции, поэтому аниматор понимает, что он раздражен, а также действие вроде { "name": "GIVE_ITEM", "targetId": "potion_01" }, которое выполняет ваша игра.
Весь обмен сначала тестируете в браузере.
Обе версии используют сильную модель. Разница в том, где живет торговец: в строке промпта и связующем коде, который поддерживают ваши инженеры, или в персонаже, который дизайнер может открыть, прочитать и изменить, не трогая сборку.
Делайте игру, а не инфраструктуру
Настоящая цена самостоятельного пути проявляется после запуска. Обновление модели меняет то, как кузнец формулирует фразы, изменение цен сдвигает вашу маржу, а новая версия Unity ломает библиотеку сообщества, на которую вы опирались. Каждое из этого падает на вашу команду, обычно когда она занята чем-то другим.
Realtime API - это модель, вокруг которой вы строите голосовой стек. Neocortex - и есть голосовой стек: персонаж, SDK для движков и игровые точки подключения уже на месте, и мы их поддерживаем по мере изменений моделей и API. Дизайнеры редактируют личность, эмоции, знания, интенты и действия как узлы графа, а не как промпт, спрятанный в коде, и ваши инженеры тратят недели на игру.
Детали OpenAI в последний раз проверялись в октябре 2026 года.
Часто задаваемые вопросы
Есть ли у OpenAI Realtime API SDK для Unity?
Нет. Официальные SDK OpenAI охватывают JavaScript, Python, .NET, Java, Go и Ruby, а поддержка Unity идет через библиотеки сообщества. У Neocortex есть SDK для Unity 6 с шестью примерными сценами, а также Unreal Engine 5, Godot и Web API.
Сколько может длиться сессия OpenAI Realtime?
Сессии Realtime ограничены 60 минутами, поэтому долгим игровым сессиям нужна логика переподключения и способ переносить контекст. С Neocortex каждый ход - отдельный вызов API, которым управляет SDK, поэтому сессии, которая может истечь по времени, нет, а вы работаете с ответами и действиями.
Поддерживает ли OpenAI Realtime API пользовательские голоса?
Пользовательские голоса по записям доступны только подходящим клиентам, которые проходят через отдел продаж OpenAI; остальные выбирают из встроенных голосов. Neocortex позволяет клонировать голос по короткому образцу, на который у вас есть права, или создать его по текстовому описанию, с 5 пользовательскими голосами на Pro и 20 на Team.
Как тарифицируется OpenAI Realtime API?
По токенам текста и аудио на входе и выходе, поэтому каждая секунда речи добавляет к счету. Тарифы Neocortex - месячные, с лимитом использования.






