Neocortex Logo

Meta Quest через Unity

ИИ-NPC для Meta Quest

Игроки разговаривают с персонажами, а не выбирают реплики контроллером. Создайте персонажа в браузере и перенесите его в свой проект Unity XR с помощью Unity SDK от Neocortex. Модель работает на серверах Neocortex, а не на шлеме.

  • Бесплатный тариф
  • Без банковской карты
  • Unity, Unreal, Godot, Web SDK и Web API
Кора, ИИ-персонаж Neocortex, машет рукой в знак приветствия
  • 5

    способов интеграции

    Unity, Unreal, Godot, Web SDK, Web API

  • 20+

    языков

    задаётся для каждого персонажа

  • 10 с

    на клонирование голоса

    или создание голоса по текстовому описанию

  • 0 €

    на старте

    бесплатный тариф и тесты в редакторе

При поддержке лидеров индустрии

CDG Booster ProgramTehnopol AI AcceleratorNvidia Inception ProgramMicrosoft Partner | Microsoft for StartupsAWS Partner | AWS StartupsCloudflare Startup ProgramFal AI Startup ProgramElevenLabs Grants
CDG Booster ProgramTehnopol AI AcceleratorNvidia Inception ProgramMicrosoft Partner | Microsoft for StartupsAWS Partner | AWS StartupsCloudflare Startup ProgramFal AI Startup ProgramElevenLabs Grants

С чего начать

Meta Quest: от нуля до говорящего персонажа

  1. 1

    Создайте персонажа

    Задайте личность, знания, голос и действия в визуальном редакторе и протестируйте персонажа в браузере.

  2. 2

    Установите Unity SDK

    В своём XR-проекте откройте Package Manager, выберите Add package from git URL и вставьте:

    https://github.com/neocortex-link/neocortex-unity-sdk.git
  3. 3

    Перенесите в шлем

    Вставьте API-ключ в Tools > Neocortex > Settings, добавьте персонажу Smart Agent, Audio Source и Audio Receiver, выберите его и соберите проект под Quest.

Что понадобится

  • Unity 6 (6000.0) или новее с целевой платформой Android
  • XR-окружение, например XR Interaction Toolkit
  • Бесплатный аккаунт Neocortex и API-ключ
Документация по Meta Quest

Что вы получаете

Сделано для тех, кто работает с Meta Quest

01

Голос без рук

По умолчанию автоопределение речи, либо push-to-talk на кнопке контроллера; разрешение на микрофон в Android запрашивается автоматически.

02

Не нагружает шлем

Quest записывает игрока и воспроизводит ответ. Модель персонажа работает на серверах Neocortex.

03

Открытое VR-демо

Сцена на GitHub, собранная на XR Interaction Toolkit, с голосовым чатом и панелью чата, которую можно перемещать.

04

Объекты, с которыми можно взаимодействовать

Пометьте объекты как Interactable, и персонаж сможет говорить о них и направлять на них действия.

05

Липсинк и эмоции

Face Animator двигает рот, пока персонаж говорит, а каждая реплика несёт эмоцию для мимики.

06

Один персонаж везде

Созданный персонаж работает также в Unreal, Godot и в вебе.

07

Голос звучит раньше

Персонажи начинают говорить, как только приходит голос, а не ждут всю аудиозапись целиком.

08

Помнит игрока

SDK сохраняет сессию для каждого персонажа, так что NPC продолжит разговор, когда шлем наденут в следующий раз.

09

Несколько NPC сразу

NeocortexGroupDirector объединяет нескольких персонажей в одном разговоре и решает, кто отвечает; нужен тариф Pro или Team.

Как это работает

Вы проектируете персонажей, а не нянчитесь с промптами

  • Личность, эмоции, знания и мир задаются нодами, которые вы соединяете, а не промптами, которые приходится переписывать.
  • Интенты и действия превращают слова игрока в то, что происходит в вашей игре.
  • Каждого персонажа можно бесплатно протестировать в браузере, прежде чем он попадёт в движок.
neocortex.link/dashboard/characters
Визуальный редактор персонажей Neocortex: ноды эмоций, личности, знаний, языка и голоса подключены к агенту в мире, а интенты связаны с игровыми действиями

Что говорят наши клиенты

Узнайте, что создатели говорят о работе с Neocortex.

Опробовав нескольких поставщиков умных NPC, я нашёл Neocortex, когда искал разговорный ИИ, сохраняющий контекст беседы, для нашей виртуальной образовательной платформы. Neocortex выделился среди остальных и соответствовал всем нашим ключевым требованиям.

Vallikat Peethamber
Управляющий директор

Neocortex открыл для нашей VR-платформы масштабируемые решения и позволил создавать сценарии, которые делают обучение гораздо более иммерсивным. Удерживать ИИ-агентов в чётких рамках непросто, но Neocortex отлично с этим справляется и упрощает настройку.

Ottó Farkas
ИТ-специалист / Руководитель проектов

На занятиях Neocortex и его механизм на основе действий дают студентам готовый способ встраивать разговорных агентов в процессы проектирования взаимодействия на основе программного и аппаратного обеспечения.

Hongming Li
Преподаватель / Инструктор

Я узнал о Neocortex, когда работал над дипломным проектом. Благодаря простой интеграции и доступности платформы я без труда добавил умных NPC в своё приложение. Очень рекомендую!

Angela Pellillo
Бэкенд-разработчик

Neocortex стал первым шагом к тому, чтобы перенести NPC на базе LLM в настоящий прототип на Unity3D: разработка ускорилась, а мой TikTok-аккаунт вырос с 0 до 4000 подписчиков за месяц!

Brandan Chen
Младший продюсер игр

Опробовав нескольких поставщиков умных NPC, я нашёл Neocortex, когда искал разговорный ИИ, сохраняющий контекст беседы, для нашей виртуальной образовательной платформы. Neocortex выделился среди остальных и соответствовал всем нашим ключевым требованиям.

Vallikat Peethamber
Управляющий директор

Neocortex открыл для нашей VR-платформы масштабируемые решения и позволил создавать сценарии, которые делают обучение гораздо более иммерсивным. Удерживать ИИ-агентов в чётких рамках непросто, но Neocortex отлично с этим справляется и упрощает настройку.

Ottó Farkas
ИТ-специалист / Руководитель проектов

На занятиях Neocortex и его механизм на основе действий дают студентам готовый способ встраивать разговорных агентов в процессы проектирования взаимодействия на основе программного и аппаратного обеспечения.

Hongming Li
Преподаватель / Инструктор

Я узнал о Neocortex, когда работал над дипломным проектом. Благодаря простой интеграции и доступности платформы я без труда добавил умных NPC в своё приложение. Очень рекомендую!

Angela Pellillo
Бэкенд-разработчик

Neocortex стал первым шагом к тому, чтобы перенести NPC на базе LLM в настоящий прототип на Unity3D: разработка ускорилась, а мой TikTok-аккаунт вырос с 0 до 4000 подписчиков за месяц!

Brandan Chen
Младший продюсер игр

От идеи до играбельного персонажа за выходные

Команды на гейм-джемах с помощью Neocortex за одни выходные встраивают в играбельные проекты ИИ-персонажей, которые говорят и действуют.

История с гейм-джема

Вопросы и ответы

Neocortex для Meta Quest: частые вопросы

Есть ли SDK Neocortex для Meta Quest?

Отдельного нет. Приложения для Meta Quest используют Unity SDK от Neocortex в проекте Unity XR, например вместе с XR Interaction Toolkit.

Работает ли это офлайн на шлеме?

Нет. Персонажи работают на серверах Neocortex, поэтому шлему нужно подключение к интернету. Студии также могут развернуть платформу Neocortex на собственной инфраструктуре.

Есть ли VR-демо, с которого можно начать?

Да. Наше открытое VR-демо на GitHub объединяет Unity SDK от Neocortex с XR Interaction Toolkit для голосового чата с NPC.

Могут ли игроки говорить, не нажимая кнопку?

Да. По умолчанию Audio Receiver слушает с автоопределением речи. Если игрокам удобнее удерживать курок, переключитесь на push-to-talk.

Можно ли провести викторину в VR?

Да. NeocortexQuizAgent из Unity SDK работает на Meta Quest, как и весь остальной SDK, поэтому персонаж может вести голосовую викторину прямо в шлеме по набору вопросов, который вы составили в панели управления. Для викторин нужен тариф Team.

Можно ли ограничить расход для каждого игрока?

Да. Unity SDK передаёт id устройства как id игрока, поэтому лимиты кредитов на игрока, заданные в панели управления, действуют для каждого шлема. NeocortexUsageGate проверяет их до отправки сообщения.

Может ли персонаж говорить своим голосом?

Да. Персонаж может говорить базовым, клонированным или созданным по описанию голосом, который задаётся в редакторе и точно так же используется в шлеме. Для клонированных голосов нужен тариф Pro или Team.

Сравниваете инструменты?

Как Neocortex выглядит на фоне других инструментов для Meta Quest

Поговорите со своим NPC в VR

Бесплатный тариф, без банковской карты. Соберите персонажа в браузере и уже через несколько минут поговорите с ним.