Lokalny LLM w Godot 4: jak go uruchomić
Uruchom lokalny LLM w Godot 4: udostępnij model przez Ollama, wywołaj go z GDScript przez HTTPRequest, zachowaj historię czatu i poznaj koszt lokalnych modeli dla graczy.
Sercan AltundasFounder of Neocortex
· 8 min czytania

Uruchomienie modelu językowego lokalnie w Godot oznacza, że twoje NPC mogą rozmawiać bez internetu i bez rachunku za każdą wiadomość. Najprostsza konfiguracja to Ollama, która udostępnia otwarte modele na twoim komputerze, plus wbudowany w Godot węzeł HTTPRequest. Ten przewodnik buduje lokalny czat z NPC w GDScript, a potem omawia, co naprawdę oznacza dostarczenie lokalnego modelu graczom.
Dwa sposoby na lokalne uruchomienie modelu
- Lokalny serwer, taki jak Ollama, działa obok gry i odpowiada przez HTTP. Łatwy w konfiguracji i idealny do prototypów, ale każdy gracz musiałby go mieć zainstalowanego.
- Model w grze przez GDExtension, które osadza llama.cpp, tak jak robią to dodatki open source, na przykład NobodyWho. Gracze nic nie instalują, ale model trafia razem z grą i działa na ich sprzęcie.
Ten przewodnik używa Ollama, bo zajmuje dziesięć minut, a GDScript jest taki sam dla każdego serwera modeli działającego przez HTTP.
Krok 1: uruchom model w Ollama
Zainstaluj Ollama, pobierz mały model i przetestuj go w terminalu. Małe modele z kilkoma miliardami parametrów odpowiadają szybko na typowej karcie do gier i wystarczają do testowania dialogów. Ollama nasłuchuje na http://localhost:11434, dopóki działa.
Krok 2: wywołaj go z GDScript
Dodaj węzeł HTTPRequest jako potomka swojego NPC, a potem podłącz ten skrypt. Przechowuje on historię rozmowy, żeby model wiedział, co zostało powiedziane wcześniej:
extends Node
@onready var http: HTTPRequest = $HTTPRequest
var history: Array = [
{"role": "system", "content": "You are Brannoch, a gruff village blacksmith. Answer in one or two sentences."}
]
func _ready() -> void:
http.request_completed.connect(_on_request_completed)
func ask(player_line: String) -> void:
history.append({"role": "user", "content": player_line})
var body := JSON.stringify({"model": "MODEL_NAME", "messages": history, "stream": false})
http.request("http://localhost:11434/api/chat", ["Content-Type: application/json"], HTTPClient.METHOD_POST, body)
func _on_request_completed(result: int, code: int, _headers: PackedStringArray, body: PackedByteArray) -> void:
if result != HTTPRequest.RESULT_SUCCESS or code != 200:
push_warning("Local model request failed: %d" % code)
return
var reply: Dictionary = JSON.parse_string(body.get_string_from_utf8())["message"]
history.append(reply)
print(reply["content"]) # show it in your dialogue UIZamień MODEL_NAME na model, który pobrałeś, wywołaj ask("Is the north road safe?"), a Brannoch odpowie z twojego komputera. HTTPRequest obsługuje jedno zapytanie naraz, więc poczekaj na odpowiedź, zanim wyślesz kolejną kwestię.
Krok 3: spraw, by działał jak postać
Surowy model to chatbot. Żeby stał się NPC, przyda się:
- Ciaśniejszy prompt systemowy: czego chce postać, czego nie wie, jak mówi. Zobacz jak nadać NPC unikalną osobowość.
- Przycinanie historii: historia rośnie z każdą kwestią, a wraz z nią czas odpowiedzi. Zachowaj prompt systemowy i kilka ostatnich wymian.
- Kontekst gry: dodaj krótką linijkę o tym, co właśnie się stało („Gracz oddał skradziony młot.”), przed wiadomością gracza.
Ile kosztuje lokalny model graczy
Lokalna inferencja przenosi koszt z rachunku za serwer na sprzęt gracza:
- Pamięć. Model dzieli GPU z twoją grą. Na naszym własnym runtime na urządzeniu model 3B potrzebuje około 3 GB VRAM, a model 2B mniej niż 1 GB.
- Rozmiar pobierania. Modele dodają do gry gigabajty.
- Jakość. Małe modele wiedzą mniej i łatwiej wychodzą z roli.
- Platformy. Eksporty web i większość telefonów nie uruchomią ich dobrze.
Co zostaje do zbudowania
Lokalny model daje tekst. Postać w grze zwykle potrzebuje czegoś więcej:
- Głos: rozpoznawanie mowy dla gracza i synteza mowy dla odpowiedzi, plus strumieniowanie, żeby czekanie było krótkie. Zobacz jak działa potok głosowy NPC AI.
- Emocje i akcje: prompty do strukturalnego wyjścia i niezawodne parsowanie go.
- Trzymanie się roli, gdy gracze naciskają. Zobacz jak utrzymać NPC AI w roli.
Droga w chmurze w Godot
Gdy potrzebujesz postaci, a nie chatbota, SDK Neocortex dla Godot uruchamia postacie w chmurze, więc gracze nie muszą niczego instalować ani poświęcać karty GPU. Postać projektujesz w edytorze w przeglądarce z osobowością, bazą wiedzy, głosem i akcjami, a SDK daje ci głos na wejściu i wyjściu, emocję w każdej kwestii i akcje jako dane, z poziomu GDScript. Przewodnik krok po kroku jest w jak dodać dialogi NPC AI w Godot 4.
Studia, które potrzebują inferencji na urządzeniu w produkcji, mogą porozmawiać z nami o naszym runtime na urządzeniu, dostępnym w planie Custom: zwraca pierwszy token w 0,06 s i zaczyna mówić po około jednej sekundzie na laptopie z RTX 3080. Skontaktuj się z nami, by to zaplanować.
Kolejne kroki
Kompromisy opóźnień opisuje jak uzyskać odpowiedzi głosowe NPC AI poniżej sekundy. Dla Unity ten sam temat omawia jak uruchomić LLM lokalnie w grze w Unity. Wszystkie poradniki są w przewodniku po budowaniu NPC AI.
Najczęściej zadawane pytania
Jak uruchomić lokalny LLM w Godot?
Uruchom model na swoim komputerze przez Ollama, a potem wywołaj jego lokalne API HTTP z GDScript przy użyciu węzła HTTPRequest. Działa offline i nie kosztuje nic za wiadomość, co czyni go dobrym sposobem na prototypowanie dialogów NPC.
Czy mogę wydać grę, która używa Ollama?
Tylko wtedy, gdy każdy gracz zainstaluje Ollama i pobierze model, a niewielu to zrobi. Wydane gry albo dołączają model do buildu, albo korzystają z usługi w chmurze, takiej jak Neocortex, która nie wymaga niczego na komputerze gracza.
Jakiego rozmiaru lokalny model może używać NPC?
Modele z kilkoma miliardami parametrów działają na typowych kartach do gier. Na naszym własnym runtime na urządzeniu model 3B potrzebuje około 3 GB VRAM. Większe modele dają lepsze odpowiedzi, ale potrzebują znacznie więcej pamięci.
Czy lokalny LLM w Godot obsługuje głos?
Nie sam z siebie: rozpoznawanie mowy i synteza mowy dodajesz osobno. SDK Neocortex dla Godot daje postaciom głos na wejściu i wyjściu, emocje i akcje, działając w chmurze.






