Neocortex Logo

SDK Neocortex для Godot вышел: озвученные ИИ NPC для Godot 4

Наш SDK для Godot с открытым исходным кодом приносит ИИ NPC в Godot 4: голосовой чат, ИИ-диалоги с эмоциями, действия, липсинк и групповые разговоры на GDScript.

Neocortex TeamThe team behind Neocortex

· 6 мин чтения

Наш SDK для Godot с открытым исходным кодом приносит ИИ NPC в Godot 4: голосовой чат, ИИ-диалоги с эмоциями, действия, липсинк и групповые разговоры на GDScript.

Godot - движок, который большинство платформ ИИ-персонажей пропускают. Больше нет: наш SDK для Godot вышел. Создайте персонажа в Neocortex, добавьте аддон в проект Godot 4, и игроки смогут заговорить с ним вслух, услышать ответ его собственным голосом и увидеть, как он действует в вашем мире.

Он с открытым исходным кодом, работает из GDScript и поставляется с семью демо-сценами, чтобы вы увидели всё в действии до создания своего.

Что SDK для Godot добавляет в вашу игру

  • Персонажи, с которыми игроки могут говорить, печатая или вслух.
  • Голос и эмоция в каждой реплике, чтобы анимации и портреты могли следовать настроению.
  • Действия, которые запускают ваш код, например открытие двери или передачу предмета.
  • Осведомлённость о сцене, чтобы персонажи знали, что вокруг.
  • Липсинк, групповые разговоры и ведущие викторин.
  • Память, чтобы разговор продолжался с того места, где остановился.

Cora отвечает игроку в примере Text Chat

ИИ-диалоги в Godot без деревьев диалогов

Ветвящиеся деревья диалогов ломаются в тот момент, когда игрок спрашивает то, что вы не написали. С Neocortex вы создаёте персонажа, а не каждую реплику: его характер, что он знает о вашем мире, как говорит и что ему разрешено делать. Вы проверяете его в браузере, пока он не начнёт звучать верно, а затем используете того же персонажа в Godot.

Каждый ответ приходит серией реплик, и у каждой своя эмоция, так что торговец может радоваться продаже и раздражаться из-за торга в одном ответе. Персонаж также помнит разговор, и вы можете отправлять ему недавние игровые события, например «игрок только что выиграл дуэль», чтобы его ответы соответствовали происходящему. Наши гайды о уникальных характерах NPC и памяти NPC подробнее раскрывают сторону дизайна.

Голосовой чат с NPC в Godot

Игроки могут говорить вместо того, чтобы печатать. SDK записывает микрофон с определением голоса или push-to-talk, превращает речь в текст, а персонаж отвечает своим голосом. Голос начинает звучать, пока остальная часть ответа ещё генерируется, поэтому разговоры не застревают.

Вы выбираете, как озвучиваются ответы: каждая строка со своей эмоцией, весь ответ одним клипом или только текст. На Android SDK запрашивает разрешение на микрофон при запуске. Наша статья о голосовом конвейере ИИ NPC объясняет, что происходит между микрофоном и динамиком.

NPC в Godot, которые действуют по своим словам

Разговор - это половина дела. Дайте персонажу действия в редакторе, например GIVE_ITEM, OPEN_DOOR или FOLLOW_PLAYER, и свяжите каждое с функцией GDScript:

@onready var agent: NeocortexSmartAgent = $Blacksmith/NeocortexSmartAgent

func _ready() -> void:
	agent.chat_line_started.connect(func(line: NeocortexChatLine): $Subtitle.text = line.text)
	agent.register_action("GIVE_ITEM", _give_item)

func _give_item(action: NeocortexChatAction) -> void:
	inventory.give(action.target_id)  # your own inventory code

Персонаж запрашивает, а решает ваша игра. Отметьте объекты в сцене как интерактивные, и персонаж будет знать, что рядом, и сможет направлять на них действия: «иди к красному квадрату, потом к синему» превращается в два действия, у каждого своя цель. Ответ может нести несколько действий, которые выполняются одно за другим.

Cora идёт к фигурам на полу в примере Interactables

Липсинк, групповые разговоры и викторины

  • Липсинк: рот персонажа двигается вместе со словами по blend shapes в стиле ARKit, стандарту, который уже использует большинство моделей персонажей.
  • Групповые разговоры: поместите несколько персонажей в одну сцену, пусть они говорят с игроком и друг с другом, и позвольте им присоединяться или уходить во время разговора.
  • Ведущие викторин: персонаж проводит викторину по вашему набору вопросов для одного или нескольких игроков; подсказки, пропуски и очки обрабатываются за вас.

Cora ведёт викторину в примере Quiz Show

Как добавить ИИ NPC в Godot 4

  1. Скачайте последний релиз и скопируйте addons/neocortex-godot-sdk в ваш проект.
  2. Включите Neocortex в Project Settings > Plugins и вставьте свой API-ключ в панель Neocortex.
  3. Выберите Project > Tools > Neocortex > Complete Voice Chat, укажите персонажа и нажмите Play.

В быстром старте для Godot есть подробности, а наш учебник по добавлению ИИ-диалогов NPC в Godot 4 пошагово собирает полную сцену кузнеца.

SDK для Godot или своя интеграция с LLM?

Можно отправить текст в API LLM через узел Godot HTTPRequest и вывести ответ. Это хороший прототип на выходные. Персонажу, с которым игроки будут проводить часы, нужно больше: распознавание речи, голос для каждого персонажа, эмоции, память между сессиями, действия, которым может доверять игра, и лимиты, чтобы один игрок не выставил вам огромный счёт.

SDK покрывает всё это, а лимиты использования на игрока и на персонажа для каждого API-ключа применяются на наших серверах. Более широкий обзор вариантов - в нашей подборке инструментов ИИ NPC для Godot.

Открытый исходный код

SDK лежит на GitHub под Apache 2.0, поэтому issues и pull requests приветствуются. Те же персонажи работают в Unity, Unreal Engine и вебе, так что персонаж, созданный для игры на Godot, пойдёт с вами в следующий проект.

Расскажите нам, что нужно вашей игре на Godot дальше, в нашем Discord.

Частые вопросы

Есть ли плагин ИИ NPC для Godot?

Да. SDK Neocortex для Godot - плагин редактора с открытым исходным кодом для Godot 4.7 и новее. Он добавляет в проект озвученных ИИ-персонажей с эмоциями, действиями, липсинком, групповыми разговорами и викторинами.

Как добавить ИИ-диалоги NPC в Godot?

Создайте персонажа в Neocortex, добавьте SDK для Godot в папку addons вашего проекта, включите плагин и вставьте API-ключ. Затем добавьте сцену чата из Project > Tools > Neocortex или вызовите text_to_audio у NeocortexSmartAgent из GDScript.

Можно ли использовать ChatGPT или другой LLM для NPC в Godot?

Вы можете вызвать API LLM сами через узел Godot HTTPRequest, но тогда голос, эмоции, память и действия придётся строить поверх. SDK Neocortex для Godot даёт всё это в одном аддоне, с персонажами, которых вы создаёте в визуальном редакторе.

Могут ли игроки говорить с NPC в Godot голосом?

Да. Игрок говорит в микрофон с определением голоса или push-to-talk, а персонаж отвечает своим голосом с эмоцией в каждой реплике.

Поддерживает ли SDK для Godot липсинк?

Да. NeocortexFaceAnimator двигает blend shapes рта в стиле ARKit на меше персонажа, пока тот говорит.

Могут ли ИИ NPC в Godot запускать игровой процесс?

Да. Дайте персонажу действия, например GIVE_ITEM или OPEN_DOOR, и каждое вызывает зарегистрированную вами функцию GDScript. Действия могут целиться в объекты сцены, а решает, выполнять ли их, ваш код.

Какие версии Godot поддерживает SDK?

Godot 4.7 и новее.

Открыт ли исходный код SDK Neocortex для Godot?

Да. Он лежит на GitHub под лицензией Apache 2.0.

Похожие статьи

Читайте также