Neocortex Logo

Lokalny LLM w Godot 4: jak go uruchomić

Uruchom lokalny LLM w Godot 4: udostępnij model przez Ollama, wywołaj go z GDScript przez HTTPRequest, zachowaj historię czatu i poznaj koszt lokalnych modeli dla graczy.

Sercan AltundasFounder of Neocortex

· 8 min czytania

Uruchom lokalny LLM w Godot 4: udostępnij model przez Ollama, wywołaj go z GDScript przez HTTPRequest, zachowaj historię czatu i poznaj koszt lokalnych modeli dla graczy.

Uruchomienie modelu językowego lokalnie w Godot oznacza, że twoje NPC mogą rozmawiać bez internetu i bez rachunku za każdą wiadomość. Najprostsza konfiguracja to Ollama, która udostępnia otwarte modele na twoim komputerze, plus wbudowany w Godot węzeł HTTPRequest. Ten przewodnik buduje lokalny czat z NPC w GDScript, a potem omawia, co naprawdę oznacza dostarczenie lokalnego modelu graczom.

Dwa sposoby na lokalne uruchomienie modelu

  • Lokalny serwer, taki jak Ollama, działa obok gry i odpowiada przez HTTP. Łatwy w konfiguracji i idealny do prototypów, ale każdy gracz musiałby go mieć zainstalowanego.
  • Model w grze przez GDExtension, które osadza llama.cpp, tak jak robią to dodatki open source, na przykład NobodyWho. Gracze nic nie instalują, ale model trafia razem z grą i działa na ich sprzęcie.

Ten przewodnik używa Ollama, bo zajmuje dziesięć minut, a GDScript jest taki sam dla każdego serwera modeli działającego przez HTTP.

Krok 1: uruchom model w Ollama

Zainstaluj Ollama, pobierz mały model i przetestuj go w terminalu. Małe modele z kilkoma miliardami parametrów odpowiadają szybko na typowej karcie do gier i wystarczają do testowania dialogów. Ollama nasłuchuje na http://localhost:11434, dopóki działa.

Krok 2: wywołaj go z GDScript

Dodaj węzeł HTTPRequest jako potomka swojego NPC, a potem podłącz ten skrypt. Przechowuje on historię rozmowy, żeby model wiedział, co zostało powiedziane wcześniej:

extends Node

@onready var http: HTTPRequest = $HTTPRequest

var history: Array = [
	{"role": "system", "content": "You are Brannoch, a gruff village blacksmith. Answer in one or two sentences."}
]

func _ready() -> void:
	http.request_completed.connect(_on_request_completed)

func ask(player_line: String) -> void:
	history.append({"role": "user", "content": player_line})
	var body := JSON.stringify({"model": "MODEL_NAME", "messages": history, "stream": false})
	http.request("http://localhost:11434/api/chat", ["Content-Type: application/json"], HTTPClient.METHOD_POST, body)

func _on_request_completed(result: int, code: int, _headers: PackedStringArray, body: PackedByteArray) -> void:
	if result != HTTPRequest.RESULT_SUCCESS or code != 200:
		push_warning("Local model request failed: %d" % code)
		return
	var reply: Dictionary = JSON.parse_string(body.get_string_from_utf8())["message"]
	history.append(reply)
	print(reply["content"])  # show it in your dialogue UI

Zamień MODEL_NAME na model, który pobrałeś, wywołaj ask("Is the north road safe?"), a Brannoch odpowie z twojego komputera. HTTPRequest obsługuje jedno zapytanie naraz, więc poczekaj na odpowiedź, zanim wyślesz kolejną kwestię.

Krok 3: spraw, by działał jak postać

Surowy model to chatbot. Żeby stał się NPC, przyda się:

  • Ciaśniejszy prompt systemowy: czego chce postać, czego nie wie, jak mówi. Zobacz jak nadać NPC unikalną osobowość.
  • Przycinanie historii: historia rośnie z każdą kwestią, a wraz z nią czas odpowiedzi. Zachowaj prompt systemowy i kilka ostatnich wymian.
  • Kontekst gry: dodaj krótką linijkę o tym, co właśnie się stało („Gracz oddał skradziony młot.”), przed wiadomością gracza.

Ile kosztuje lokalny model graczy

Lokalna inferencja przenosi koszt z rachunku za serwer na sprzęt gracza:

  • Pamięć. Model dzieli GPU z twoją grą. Na naszym własnym runtime na urządzeniu model 3B potrzebuje około 3 GB VRAM, a model 2B mniej niż 1 GB.
  • Rozmiar pobierania. Modele dodają do gry gigabajty.
  • Jakość. Małe modele wiedzą mniej i łatwiej wychodzą z roli.
  • Platformy. Eksporty web i większość telefonów nie uruchomią ich dobrze.

Co zostaje do zbudowania

Lokalny model daje tekst. Postać w grze zwykle potrzebuje czegoś więcej:

  • Głos: rozpoznawanie mowy dla gracza i synteza mowy dla odpowiedzi, plus strumieniowanie, żeby czekanie było krótkie. Zobacz jak działa potok głosowy NPC AI.
  • Emocje i akcje: prompty do strukturalnego wyjścia i niezawodne parsowanie go.
  • Trzymanie się roli, gdy gracze naciskają. Zobacz jak utrzymać NPC AI w roli.

Droga w chmurze w Godot

Gdy potrzebujesz postaci, a nie chatbota, SDK Neocortex dla Godot uruchamia postacie w chmurze, więc gracze nie muszą niczego instalować ani poświęcać karty GPU. Postać projektujesz w edytorze w przeglądarce z osobowością, bazą wiedzy, głosem i akcjami, a SDK daje ci głos na wejściu i wyjściu, emocję w każdej kwestii i akcje jako dane, z poziomu GDScript. Przewodnik krok po kroku jest w jak dodać dialogi NPC AI w Godot 4.

Studia, które potrzebują inferencji na urządzeniu w produkcji, mogą porozmawiać z nami o naszym runtime na urządzeniu, dostępnym w planie Custom: zwraca pierwszy token w 0,06 s i zaczyna mówić po około jednej sekundzie na laptopie z RTX 3080. Skontaktuj się z nami, by to zaplanować.

Kolejne kroki

Kompromisy opóźnień opisuje jak uzyskać odpowiedzi głosowe NPC AI poniżej sekundy. Dla Unity ten sam temat omawia jak uruchomić LLM lokalnie w grze w Unity. Wszystkie poradniki są w przewodniku po budowaniu NPC AI.

Najczęściej zadawane pytania

Jak uruchomić lokalny LLM w Godot?

Uruchom model na swoim komputerze przez Ollama, a potem wywołaj jego lokalne API HTTP z GDScript przy użyciu węzła HTTPRequest. Działa offline i nie kosztuje nic za wiadomość, co czyni go dobrym sposobem na prototypowanie dialogów NPC.

Czy mogę wydać grę, która używa Ollama?

Tylko wtedy, gdy każdy gracz zainstaluje Ollama i pobierze model, a niewielu to zrobi. Wydane gry albo dołączają model do buildu, albo korzystają z usługi w chmurze, takiej jak Neocortex, która nie wymaga niczego na komputerze gracza.

Jakiego rozmiaru lokalny model może używać NPC?

Modele z kilkoma miliardami parametrów działają na typowych kartach do gier. Na naszym własnym runtime na urządzeniu model 3B potrzebuje około 3 GB VRAM. Większe modele dają lepsze odpowiedzi, ale potrzebują znacznie więcej pamięci.

Czy lokalny LLM w Godot obsługuje głos?

Nie sam z siebie: rozpoznawanie mowy i synteza mowy dodajesz osobno. SDK Neocortex dla Godot daje postaciom głos na wejściu i wyjściu, emocje i akcje, działając w chmurze.

Podobne artykuły

Czytaj dalej