Как запустить локальную LLM в Godot 4
Запустите локальную LLM в Godot 4: раздайте модель через Ollama, вызывайте ее из GDScript через HTTPRequest, сохраняйте историю чата и узнайте, чего стоят локальные модели игрокам.
Sercan AltundasFounder of Neocortex
· 8 мин чтения

Запуск языковой модели локально в Godot означает, что ваши NPC могут разговаривать без интернета и без платы за каждое сообщение. Самая простая настройка - Ollama, который раздает открытые модели на вашей машине, плюс встроенный в Godot узел HTTPRequest. Это руководство собирает локальный чат с NPC на GDScript, а затем рассказывает, что на самом деле включает поставка локальной модели игрокам.
Два способа запустить модель локально
- Локальный сервер, такой как Ollama, работает рядом с игрой и отвечает по HTTP. Его легко настроить, он идеален для прототипов, но каждому игроку пришлось бы установить его.
- Модель внутри игры через GDExtension, который встраивает llama.cpp, как это делают аддоны с открытым исходным кодом, например NobodyWho. Игрокам ничего дополнительно устанавливать не нужно, но модель поставляется вместе с игрой и работает на их железе.
В этом руководстве используется Ollama, потому что на настройку уходит десять минут, а GDScript здесь та же идея для любого HTTP-сервера моделей.
Шаг 1: запустите модель через Ollama
Установите Ollama, затем скачайте небольшую модель и протестируйте ее в терминале. Небольшие модели на несколько миллиардов параметров быстро отвечают на типичной игровой видеокарте, и их достаточно для тестирования диалогов. Пока Ollama работает, он слушает http://localhost:11434.
Шаг 2: вызовите ее из GDScript
Добавьте узел HTTPRequest дочерним к вашему NPC, а затем прикрепите этот скрипт. Он хранит историю разговора, чтобы модель знала, что было сказано раньше:
extends Node
@onready var http: HTTPRequest = $HTTPRequest
var history: Array = [
{"role": "system", "content": "You are Brannoch, a gruff village blacksmith. Answer in one or two sentences."}
]
func _ready() -> void:
http.request_completed.connect(_on_request_completed)
func ask(player_line: String) -> void:
history.append({"role": "user", "content": player_line})
var body := JSON.stringify({"model": "MODEL_NAME", "messages": history, "stream": false})
http.request("http://localhost:11434/api/chat", ["Content-Type: application/json"], HTTPClient.METHOD_POST, body)
func _on_request_completed(result: int, code: int, _headers: PackedStringArray, body: PackedByteArray) -> void:
if result != HTTPRequest.RESULT_SUCCESS or code != 200:
push_warning("Local model request failed: %d" % code)
return
var reply: Dictionary = JSON.parse_string(body.get_string_from_utf8())["message"]
history.append(reply)
print(reply["content"]) # show it in your dialogue UIЗамените MODEL_NAME на модель, которую вы скачали, вызовите ask("Is the north road safe?"), и Brannoch ответит с вашей собственной машины. HTTPRequest обрабатывает один запрос за раз, поэтому дождитесь ответа, прежде чем отправлять следующую реплику.
Шаг 3: сделайте так, чтобы он ощущался как персонаж
Сырая модель - это чатбот. Чтобы сделать из нее NPC, понадобится:
- Более точный системный промпт: чего хочет персонаж, чего он не знает, как он говорит. См. как дать NPC уникальные личности.
- Обрезка истории: история растет с каждой репликой, и вместе с ней растет время ответа. Храните системный промпт и последние несколько обменов.
- Игровой контекст: добавьте короткую строку о том, что только что произошло («Игрок вернул украденный молот»), перед сообщением игрока.
Чего стоит локальная модель игрокам
Локальный инференс переносит расходы со счета за сервер на железо игрока:
- Память. Модель делит видеокарту с вашей игрой. В нашем собственном рантайме на устройстве модель на 3B требует около 3 ГБ VRAM, а модель на 2B - меньше 1 ГБ.
- Размер загрузки. Модели добавляют игре гигабайты.
- Качество. Маленькие модели знают меньше и легче выходят из образа.
- Платформы. Веб-экспорты и большинство телефонов не могут нормально их запустить.
Что придется строить самому
Локальная модель дает текст. Игровому персонажу обычно нужно больше:
- Голос: распознавание речи для игрока и синтез речи для ответа, а также потоковая передача, чтобы ожидание оставалось коротким. См. как устроен голосовой конвейер ИИ NPC.
- Эмоции и действия: промптинг для структурированного вывода и надежный разбор этого вывода.
- Сохранение образа, когда игроки давят. См. как удерживать ИИ NPC в образе.
Облачный путь в Godot
Когда нужен персонаж, а не чатбот, SDK Neocortex для Godot запускает персонажей в облаке, поэтому игрокам ничего не нужно устанавливать и не нужна свободная видеокарта. Вы создаете персонажа в браузерном редакторе с личностью, базой знаний, голосом и действиями, а SDK дает вам голос на входе и выходе, эмоцию в каждой реплике и действия в виде данных прямо из GDScript. Пошаговая инструкция - в как добавить диалог ИИ NPC в Godot 4.
Студиям, которым нужен инференс на устройстве в продакшене, можно поговорить с нами о нашем рантайме на устройстве, доступном по индивидуальному тарифу: первый токен он выдает за 0,06 с, а начинает говорить примерно за одну секунду на ноутбуке с RTX 3080. Свяжитесь с нами, чтобы это спланировать.
Следующие шаги
Компромиссы по задержке разобраны в как получить голосовые ответы ИИ NPC быстрее секунды. Для Unity та же тема описана в как запустить LLM локально в игре на Unity. Все туториалы собраны в руководстве по созданию ИИ NPC.
Часто задаваемые вопросы
Как запустить локальную LLM в Godot?
Запустите модель на своей машине через Ollama, а затем вызывайте ее локальный HTTP API из GDScript с помощью узла HTTPRequest. Это работает офлайн и не стоит ничего за сообщение, поэтому это хороший способ прототипировать диалоги NPC.
Можно ли выпустить игру, которая использует Ollama?
Только если каждый игрок установит Ollama и скачает модель, а таких будет немного. Выпущенные игры либо встраивают модель в сборку, либо используют облачный сервис вроде Neocortex, которому ничего не нужно на компьютере игрока.
Модель какого размера может использовать NPC?
Модели на несколько миллиардов параметров работают на типичных игровых видеокартах. В нашем собственном рантайме на устройстве модель на 3B требует около 3 ГБ VRAM. Большие модели дают лучшие ответы, но нуждаются в гораздо большей памяти.
Поддерживает ли локальная LLM в Godot голос?
Сама по себе нет: распознавание речи и синтез речи добавляются отдельно. SDK Neocortex для Godot дает персонажам голос на входе и выходе, эмоции и действия, работая в облаке.






