Neocortex Logo

Godot 4'te yerel LLM nasıl çalıştırılır

Godot 4'te yerel bir LLM çalıştırın: bir modeli Ollama ile sunun, GDScript'ten HTTPRequest ile çağırın, sohbet geçmişini tutun ve yerel modellerin oyuncuya maliyetini öğrenin.

Sercan AltundasFounder of Neocortex

· 8 dk okuma

Godot 4'te yerel bir LLM çalıştırın: bir modeli Ollama ile sunun, GDScript'ten HTTPRequest ile çağırın, sohbet geçmişini tutun ve yerel modellerin oyuncuya maliyetini öğrenin.

Godot'ta bir dil modelini yerel çalıştırmak, NPC'lerinizin internet olmadan ve mesaj başına bir fatura olmadan konuşabilmesi anlamına gelir. En basit kurulum, açık modelleri kendi makinenizde sunan Ollama ile Godot'un yerleşik HTTPRequest düğümünü birlikte kullanmak. Bu rehber GDScript ile yerel bir NPC sohbeti kuruyor, ardından yerel bir modeli oyuncuya dağıtmanın gerçekte neleri gerektirdiğini anlatıyor.

Yerel çalıştırmanın iki yolu

  • Ollama gibi yerel bir sunucu oyunun yanında çalışır ve HTTP üzerinden yanıt verir. Kurulumu kolay, prototip için ideal; ama her oyuncunun bunu kurmuş olması gerekir.
  • Oyunun içindeki bir model, llama.cpp'yi gömen bir GDExtension üzerinden; NobodyWho gibi açık kaynak eklentilerin yaptığı gibi. Oyuncuların kuracağı ek bir şey yok, ama model oyununuzla birlikte gelir ve oyuncunun donanımında çalışır.

Bu rehber Ollama kullanıyor, çünkü on dakika sürüyor ve GDScript herhangi bir HTTP model sunucusu için aynı fikri izliyor.

Adım 1: Ollama ile bir model çalıştırın

Ollama'yı kurun, sonra küçük bir modeli indirin ve bir terminalde test edin. Birkaç milyar parametreli küçük modeller tipik bir oyun GPU'sunda hızlı yanıt verir ve diyalog testi için fazlasıyla yeterli. Ollama çalışırken http://localhost:11434 adresini dinler.

Adım 2: GDScript'ten çağırın

NPC'nizin alt düğümü olarak bir HTTPRequest düğümü ekleyin, sonra bu betiği bağlayın. Model neyin söylendiğini bilsin diye konuşma geçmişini tutar:

extends Node

@onready var http: HTTPRequest = $HTTPRequest

var history: Array = [
	{"role": "system", "content": "You are Brannoch, a gruff village blacksmith. Answer in one or two sentences."}
]

func _ready() -> void:
	http.request_completed.connect(_on_request_completed)

func ask(player_line: String) -> void:
	history.append({"role": "user", "content": player_line})
	var body := JSON.stringify({"model": "MODEL_NAME", "messages": history, "stream": false})
	http.request("http://localhost:11434/api/chat", ["Content-Type: application/json"], HTTPClient.METHOD_POST, body)

func _on_request_completed(result: int, code: int, _headers: PackedStringArray, body: PackedByteArray) -> void:
	if result != HTTPRequest.RESULT_SUCCESS or code != 200:
		push_warning("Local model request failed: %d" % code)
		return
	var reply: Dictionary = JSON.parse_string(body.get_string_from_utf8())["message"]
	history.append(reply)
	print(reply["content"])  # show it in your dialogue UI

MODEL_NAME yerine indirdiğiniz modelin adını yazın, ask("Is the north road safe?") çağırın ve Brannoch kendi makinenizden yanıt versin. Bir HTTPRequest aynı anda yalnızca bir isteği işler; bu yüzden bir sonraki satırı göndermeden önce yanıtı bekleyin.

Adım 3: Bir karakter gibi hissettirin

Ham bir model bir sohbet robotudur. Onu bir NPC yapmak için şunlara ihtiyacınız olacak:

  • Daha sıkı bir sistem istemi: karakter neyi ister, neyi bilmez, nasıl konuşur. Bkz. NPC'lere benzersiz kişilik nasıl verilir.
  • Geçmişi kırpmak: geçmiş her satırla büyür ve yanıt süresi de onunla birlikte uzar. Sistem istemini ve son birkaç alışverişi tutun.
  • Oyun bağlamı: oyuncunun mesajından önce, az önce olanları anlatan kısa bir satır ekleyin ("Oyuncu çalınan çekici geri getirdi.").

Yerel bir modelin oyuncuya maliyeti

Yerel çıkarım, maliyeti sunucu faturasından oyuncunun donanımına taşır:

  • Bellek. Model, GPU'yu oyununuzla paylaşır. Kendi cihaz üzerindeki çalışma zamanımızda, 3B bir model yaklaşık 3 GB VRAM ister, 2B bir model ise 1 GB'ın altında.
  • İndirme boyutu. Modeller oyununuza gigabaytlar ekler.
  • Kalite. Küçük modeller daha az bilir ve karakterden daha kolay sapar.
  • Platformlar. Web çıktıları ve çoğu telefon bunları iyi çalıştıramaz.

Size bırakılan şeyler

Yerel bir model size metin verir. Bir oyun karakteri genelde daha fazlasını ister:

  • Ses: oyuncu için konuşma tanıma ve yanıt için metinden konuşmaya; bekleme süresini kısa tutmak için akış. Bkz. AI NPC ses hattı nasıl çalışır.
  • Duygu ve eylemler: yapılandırılmış çıktı için istem yazmak ve bunu güvenilir biçimde ayrıştırmak.
  • Oyuncular zorladığında karakterde kalmak. Bkz. AI NPC'leri karakterde nasıl tutarsınız.

Godot'ta bulut yolu

Bir sohbet robotu değil, bir karakter istediğinizde Neocortex Godot SDK'sı karakterleri bulutta çalıştırır; oyuncuların bir şey kurması gerekmez ve GPU'larından bir şey ayırmaları gerekmez. Karakteri bir tarayıcı editöründe kişilik, bilgi tabanı, ses ve eylemlerle tasarlarsınız; SDK ise GDScript'ten sesli giriş ve çıkış, her satırda bir duygu ve veri olarak eylemler sağlar. Adım adım anlatım: Godot 4'te AI NPC diyaloğu nasıl eklenir.

Üretimde cihaz üzerinde çıkarıma ihtiyacı olan stüdyolar, Custom plan olarak sunduğumuz cihaz üzerindeki çalışma zamanımız hakkında bizimle konuşabilir: bir dizüstü RTX 3080'de ilk token'ı 0,06 saniyede döndürüyor ve yaklaşık bir saniyede konuşmaya başlıyor. Planlamak için bizimle iletişime geçin.

Sonraki adımlar

Gecikme ödünleşimleri için AI NPC ses yanıtlarını bir saniyenin altına nasıl indirirsiniz yazısını okuyun. Unity için aynı konu Unity oyununda bir LLM'i yerel nasıl çalıştırırsınız yazısında. Tüm eğitimler AI NPC kurma rehberinde.

Sık sorulan sorular

Godot'ta yerel bir LLM'i nasıl çalıştırırım?

Ollama ile modeli makinenizde çalıştırın, sonra GDScript'ten bir HTTPRequest düğümüyle yerel HTTP API'sini çağırın. Çevrimdışı çalışır ve mesaj başına bir maliyeti yoktur; bu da NPC diyaloğunu prototiplemek için iyi bir yol.

Ollama kullanan bir oyunu yayınlayabilir miyim?

Yalnızca her oyuncu Ollama'yı kurup bir model indirirse, ki bunu çok az kişi yapar. Yayınlanan oyunlar ya modeli derlemenin içine koyar ya da oyuncunun makinesinde hiçbir şey gerektirmeyen Neocortex gibi bir bulut servisi kullanır.

Bir NPC hangi boyutta yerel bir modeli kullanabilir?

Birkaç milyar parametreli modeller tipik oyun GPU'larında çalışır. Kendi cihaz üzerindeki çalışma zamanımızda 3B bir model yaklaşık 3 GB VRAM ister. Daha büyük modeller daha iyi yanıt verir ama çok daha fazla bellek ister.

Godot'taki yerel bir LLM ses destekliyor mu?

Kendi başına hayır: konuşma tanımayı ve metinden konuşmayı ayrıca eklersiniz. Neocortex Godot SDK'sı ise bulutta çalışan karakterlere sesli giriş ve çıkış, duygular ve eylemler sağlar.

Benzer yazılar

Okumaya devam et