Neocortex Logo

Как запустить локальную LLM в Godot 4

Запустите локальную LLM в Godot 4: раздайте модель через Ollama, вызывайте ее из GDScript через HTTPRequest, сохраняйте историю чата и узнайте, чего стоят локальные модели игрокам.

Sercan AltundasFounder of Neocortex

· 8 мин чтения

Запустите локальную LLM в Godot 4: раздайте модель через Ollama, вызывайте ее из GDScript через HTTPRequest, сохраняйте историю чата и узнайте, чего стоят локальные модели игрокам.

Запуск языковой модели локально в Godot означает, что ваши NPC могут разговаривать без интернета и без платы за каждое сообщение. Самая простая настройка - Ollama, который раздает открытые модели на вашей машине, плюс встроенный в Godot узел HTTPRequest. Это руководство собирает локальный чат с NPC на GDScript, а затем рассказывает, что на самом деле включает поставка локальной модели игрокам.

Два способа запустить модель локально

  • Локальный сервер, такой как Ollama, работает рядом с игрой и отвечает по HTTP. Его легко настроить, он идеален для прототипов, но каждому игроку пришлось бы установить его.
  • Модель внутри игры через GDExtension, который встраивает llama.cpp, как это делают аддоны с открытым исходным кодом, например NobodyWho. Игрокам ничего дополнительно устанавливать не нужно, но модель поставляется вместе с игрой и работает на их железе.

В этом руководстве используется Ollama, потому что на настройку уходит десять минут, а GDScript здесь та же идея для любого HTTP-сервера моделей.

Шаг 1: запустите модель через Ollama

Установите Ollama, затем скачайте небольшую модель и протестируйте ее в терминале. Небольшие модели на несколько миллиардов параметров быстро отвечают на типичной игровой видеокарте, и их достаточно для тестирования диалогов. Пока Ollama работает, он слушает http://localhost:11434.

Шаг 2: вызовите ее из GDScript

Добавьте узел HTTPRequest дочерним к вашему NPC, а затем прикрепите этот скрипт. Он хранит историю разговора, чтобы модель знала, что было сказано раньше:

extends Node

@onready var http: HTTPRequest = $HTTPRequest

var history: Array = [
	{"role": "system", "content": "You are Brannoch, a gruff village blacksmith. Answer in one or two sentences."}
]

func _ready() -> void:
	http.request_completed.connect(_on_request_completed)

func ask(player_line: String) -> void:
	history.append({"role": "user", "content": player_line})
	var body := JSON.stringify({"model": "MODEL_NAME", "messages": history, "stream": false})
	http.request("http://localhost:11434/api/chat", ["Content-Type: application/json"], HTTPClient.METHOD_POST, body)

func _on_request_completed(result: int, code: int, _headers: PackedStringArray, body: PackedByteArray) -> void:
	if result != HTTPRequest.RESULT_SUCCESS or code != 200:
		push_warning("Local model request failed: %d" % code)
		return
	var reply: Dictionary = JSON.parse_string(body.get_string_from_utf8())["message"]
	history.append(reply)
	print(reply["content"])  # show it in your dialogue UI

Замените MODEL_NAME на модель, которую вы скачали, вызовите ask("Is the north road safe?"), и Brannoch ответит с вашей собственной машины. HTTPRequest обрабатывает один запрос за раз, поэтому дождитесь ответа, прежде чем отправлять следующую реплику.

Шаг 3: сделайте так, чтобы он ощущался как персонаж

Сырая модель - это чатбот. Чтобы сделать из нее NPC, понадобится:

  • Более точный системный промпт: чего хочет персонаж, чего он не знает, как он говорит. См. как дать NPC уникальные личности.
  • Обрезка истории: история растет с каждой репликой, и вместе с ней растет время ответа. Храните системный промпт и последние несколько обменов.
  • Игровой контекст: добавьте короткую строку о том, что только что произошло («Игрок вернул украденный молот»), перед сообщением игрока.

Чего стоит локальная модель игрокам

Локальный инференс переносит расходы со счета за сервер на железо игрока:

  • Память. Модель делит видеокарту с вашей игрой. В нашем собственном рантайме на устройстве модель на 3B требует около 3 ГБ VRAM, а модель на 2B - меньше 1 ГБ.
  • Размер загрузки. Модели добавляют игре гигабайты.
  • Качество. Маленькие модели знают меньше и легче выходят из образа.
  • Платформы. Веб-экспорты и большинство телефонов не могут нормально их запустить.

Что придется строить самому

Локальная модель дает текст. Игровому персонажу обычно нужно больше:

  • Голос: распознавание речи для игрока и синтез речи для ответа, а также потоковая передача, чтобы ожидание оставалось коротким. См. как устроен голосовой конвейер ИИ NPC.
  • Эмоции и действия: промптинг для структурированного вывода и надежный разбор этого вывода.
  • Сохранение образа, когда игроки давят. См. как удерживать ИИ NPC в образе.

Облачный путь в Godot

Когда нужен персонаж, а не чатбот, SDK Neocortex для Godot запускает персонажей в облаке, поэтому игрокам ничего не нужно устанавливать и не нужна свободная видеокарта. Вы создаете персонажа в браузерном редакторе с личностью, базой знаний, голосом и действиями, а SDK дает вам голос на входе и выходе, эмоцию в каждой реплике и действия в виде данных прямо из GDScript. Пошаговая инструкция - в как добавить диалог ИИ NPC в Godot 4.

Студиям, которым нужен инференс на устройстве в продакшене, можно поговорить с нами о нашем рантайме на устройстве, доступном по индивидуальному тарифу: первый токен он выдает за 0,06 с, а начинает говорить примерно за одну секунду на ноутбуке с RTX 3080. Свяжитесь с нами, чтобы это спланировать.

Следующие шаги

Компромиссы по задержке разобраны в как получить голосовые ответы ИИ NPC быстрее секунды. Для Unity та же тема описана в как запустить LLM локально в игре на Unity. Все туториалы собраны в руководстве по созданию ИИ NPC.

Часто задаваемые вопросы

Как запустить локальную LLM в Godot?

Запустите модель на своей машине через Ollama, а затем вызывайте ее локальный HTTP API из GDScript с помощью узла HTTPRequest. Это работает офлайн и не стоит ничего за сообщение, поэтому это хороший способ прототипировать диалоги NPC.

Можно ли выпустить игру, которая использует Ollama?

Только если каждый игрок установит Ollama и скачает модель, а таких будет немного. Выпущенные игры либо встраивают модель в сборку, либо используют облачный сервис вроде Neocortex, которому ничего не нужно на компьютере игрока.

Модель какого размера может использовать NPC?

Модели на несколько миллиардов параметров работают на типичных игровых видеокартах. В нашем собственном рантайме на устройстве модель на 3B требует около 3 ГБ VRAM. Большие модели дают лучшие ответы, но нуждаются в гораздо большей памяти.

Поддерживает ли локальная LLM в Godot голос?

Сама по себе нет: распознавание речи и синтез речи добавляются отдельно. SDK Neocortex для Godot дает персонажам голос на входе и выходе, эмоции и действия, работая в облаке.

Похожие статьи

Читайте также