Neocortex Logo

Meta Quest AI Building Blocks против Neocortex для VR NPC

Meta AI Building Blocks подключают провайдеров LLM, речи и TTS к Unity для Quest. Что остается собрать самому и как Neocortex закрывает VR NPC.

Neocortex TeamThe team behind Neocortex

· Обновлено 20 окт. 2026 г. · 6 мин чтения

Meta AI Building Blocks подключают провайдеров LLM, речи и TTS к Unity для Quest. Что остается собрать самому и как Neocortex закрывает VR NPC.

Вы разрабатываете для Meta Quest в Unity и хотите персонажа, с которым игрок может говорить. С чего начать: с AI Building Blocks от Meta или с платформы персонажей?

Инструменты Meta это первое, что приходит в голову. Meta XR SDK включает AI Building Blocks для языковых моделей, речи и синтеза речи, а давний Voice SDK отвечает за голосовые команды и диктовку. Это полезная сантехника. Персонажами это не является. В этом сравнении сказано, что каждая сторона дает для VR NPC и что остается сверху.

Что Meta поставляет для ИИ на Quest

  • AI Building Blocks. Четыре блока: Object Detection, Large Language Models, Speech to Text и Text to Speech. Каждый объединяет компонент Unity с провайдером, который решает, где выполняется инференс: в облаке, на локальной машине или на самой гарнитуре. В документации Meta названы провайдеры, например OpenAI, Ollama, Hugging Face, Replicate и ElevenLabs.
  • Требования. Unity 6 или новее, Quest 3 или 3S и интернет для облачных провайдеров. Блокам, которые используют камеру пространственного видеоряда, нужны также свежие версии Meta XR Core SDK и MR Utility Kit.
  • Voice SDK. Построен на Wit.ai, для голосовых команд, диктовки и TTS.
  • Меняющийся бэкенд моделей. Meta закрыла превью Llama API, поэтому проектам, которые использовали его для блока языковой модели, нужен другой провайдер.

Meta также предупреждает, что облачные модели не всегда доступны на серверах провайдера, поэтому перед выпуском проверьте доступность провайдера и модели.

Что вы все еще создаете сами

Building Blocks подключают модели. Персонажу нужно больше. Поверх блоков ваша команда пишет и поддерживает:

  • Самого персонажа. Персона, предыстория, знания, память и ограничения, согласованные на протяжении долгой игровой сессии.
  • Связующий код между блоками. Вывод распознавания речи в языковую модель, ответ в синтез речи, с обработкой перебивания, чтобы игрок мог вклиниться.
  • Отдельные аккаунты провайдеров. Каждый блок может выставлять счета через другую компанию, со своими ключами, лимитами и изменениями цен.
  • Пользовательские голоса через сторонний сервис голоса.
  • Осведомленность о сцене и действия. Передача персонажу того, что игрок держит или на что смотрит, и превращение ответа в событие в мире.
  • Все остальные платформы. Building Blocks нацелены на Quest в Unity. Сборка для ПК VR, плоская версия или порт на Unreal начинаются с нуля.

Сравнение Meta AI Building Blocks и Neocortex

Meta AI Building BlocksNeocortex
Что этоКоннекторы провайдеров для Unity на QuestПолноценная платформа ИИ-персонажей
Дизайн персонажаСоздаете самиВизуальный редактор узлов, проверка в браузере
Языковая модельВыбираете и оплачиваете провайдераВедется за вас
ГолосПодключаете провайдера TTSПотоковый TTS и STT, клонирование и создание голоса
Провайдеры и оплатаНесколько, оплата отдельноОдин аккаунт, фиксированные месячные тарифы
ПлатформыQuest 3 и 3SUnity на desktop, мобильных устройствах и вебе, а также Unreal, Godot и Web API
Игровые точки подключенияСоздаете самиДействия, интерактивные объекты, эмоции в каждой реплике
Структура историиСоздаете самиConversation Flow с checkpoint flowState

Пройдем по смешанной реальности: торговец

Представьте продавщицу зелий, которая стоит на настоящем столе игрока в режиме пропускания реальности.

С Building Blocks вы добавляете блоки речи в текст, языковой модели и синтеза речи, выбираете три провайдера и соединяете их. Личность торговки живет в системном промпте. Чтобы она реагировала, когда игрок берет бутылку, вы пишете код, который описывает сцену текстом, добавляет его в промпт, разбирает ответ на намерение и запускает анимацию. Ее голос это стандартный пресет, если только вы не подключите отдельный сервис голоса.

С Neocortex вы сначала создаете ее в редакторе: узел Agent для предыстории, узлы Personality и Emotion для ее нрава, файл Knowledge с прайс-листом и узел Objects с перечнем бутылок. Вы проверяете ее в браузере, пока она не начнет торговаться так, как вам нужно. В Unity ваша игра сообщает ей, какой помеченный объект держит игрок. Она отвечает своим клонированным или созданным голосом, потоком, чтобы ответ начинался быстро, а ответ несет эмоциональную метку для лица и действие в формате { "name": "OPEN_DOOR", "targetId": "door_02" }, которое выполняет ваш код, например открывает шкаф позади нее. Если квесту нужна структура, Conversation Flow ведет ее от приветствия к торгу и к секретному рецепту, а API сообщает о каждой точке контроля как flowState.

Персонажа, работающего в гарнитуре, можно увидеть в нашем VR-демо с Unity XR Interaction Toolkit.

Выберите подходящий вариант для проекта на Quest

Building Blocks подходят команде, которой нужна одна возможность, например диктовка в текстовое поле или распознавание объектов для функции смешанной реальности, и которая готова вести аккаунты провайдеров.

Neocortex подходит команде, которой нужны персонажи: дизайнерам, которые меняют личность и знания без пересборки приложения, голосам, принадлежащим каждому персонажу, и NPC, которые действуют в сцене. Он также подходит любому проекту, который может выйти за пределы Quest, потому что тот же персонаж работает на других платформах и в других движках.

Оба могут жить в одном приложении. Используйте Voice SDK для команд меню, например "пауза" или "инвентарь", а персонажа Neocortex для разговора.

По тарифам: коммерческим релизам нужен Pro (29 € в месяц) или Team (99 € в месяц), а Pro добавляет групповой чат до шести персонажей через API, что подходит для отряда спутников в VR.

Поставьте одного персонажа в гарнитуру

Начните с NPC, с которым игроки встретятся первым. Создайте его в браузере, добавьте Unity SDK и услышьте его ответ в гарнитуре. Каждый следующий персонаж проходит те же шаги.

Данные Meta последний раз проверялись в октябре 2026 года.

Частые вопросы

Что такое AI Building Blocks от Meta?

Это компоненты Unity в Meta XR SDK для распознавания объектов, языковых моделей, распознавания речи и синтеза речи, каждый подключен к провайдеру на ваш выбор. Neocortex это полноценная платформа персонажей, а не набор блоков: визуальный редактор, голос и игровые действия в одном Unity SDK.

Какие гарнитуры поддерживают Meta AI Building Blocks?

Meta рекомендует Unity 6 или новее с Quest 3 или Quest 3S. Персонажи Neocortex работают в Unity на desktop, мобильных устройствах и вебе, а тот же персонаж также работает в Unreal, Godot и через Web API.

Доступен ли Meta Llama API для приложений на Quest?

Нет, Meta закрыла превью Llama API, поэтому блоку языковой модели нужен другой провайдер, например OpenAI или Ollama. Neocortex ведет языковую модель за вас, поэтому менять провайдера не нужно.

Может ли VR NPC реагировать на объекты вокруг игрока?

Из коробки с Building Blocks нет; такую интеграцию вы пишете сами. В Neocortex ваша игра отправляет ближайшие объекты и недавние события, а персонаж отвечает действиями, например открыть дверь или передать предмет.

Можно ли клонировать голос для VR-персонажа?

С Building Blocks вы подключаете провайдера TTS и управляете голосами там. Neocortex включает клонирование голоса по короткому образцу, на использование которого у вас есть права, и создание голоса по текстовому описанию: 5 пользовательских голосов на Pro и 20 на Team.

Похожие статьи

Читайте также