Cara Menjalankan LLM Lokal di Godot 4
Jalankan LLM lokal di Godot 4: sajikan model dengan Ollama, panggil dari GDScript dengan HTTPRequest, simpan riwayat chat, dan ketahui biaya model lokal bagi pemain.
Sercan AltundasFounder of Neocortex
· 8 menit baca

Menjalankan model bahasa secara lokal di Godot berarti NPC Anda bisa berbicara tanpa internet dan tanpa tagihan per pesan. Pengaturan paling sederhana adalah Ollama, yang menyajikan model open dari mesin Anda sendiri, plus node HTTPRequest bawaan Godot. Panduan ini membangun chat NPC lokal dengan GDScript, lalu membahas apa sebenarnya yang dibutuhkan untuk mengirimkan model lokal ke pemain.
Dua cara menjalankan model secara lokal
- Server lokal seperti Ollama berjalan di samping game dan menjawab lewat HTTP. Mudah diatur dan ideal untuk prototipe, tetapi setiap pemain harus memasangnya.
- Model di dalam game lewat GDExtension yang menyematkan llama.cpp, seperti yang dilakukan addon open-source seperti NobodyWho. Pemain tidak perlu memasang apa pun tambahan, tetapi model ikut dikirim bersama game dan berjalan di perangkat keras mereka.
Panduan ini memakai Ollama, karena prosesnya memakan waktu sepuluh menit dan GDScript-nya memakai gagasan yang sama untuk server model HTTP mana pun.
Langkah 1: jalankan model dengan Ollama
Pasang Ollama, lalu unduh model kecil dan uji di terminal. Model kecil dengan beberapa miliar parameter merespons cepat pada GPU gaming yang umum, dan cukup untuk menguji dialog. Ollama mendengarkan di http://localhost:11434 selama berjalan.
Langkah 2: panggil dari GDScript
Tambahkan node HTTPRequest sebagai anak dari NPC Anda, lalu lampirkan skrip ini. Skrip ini menyimpan riwayat percakapan agar model tahu apa yang sudah dikatakan sebelumnya:
extends Node
@onready var http: HTTPRequest = $HTTPRequest
var history: Array = [
{"role": "system", "content": "You are Brannoch, a gruff village blacksmith. Answer in one or two sentences."}
]
func _ready() -> void:
http.request_completed.connect(_on_request_completed)
func ask(player_line: String) -> void:
history.append({"role": "user", "content": player_line})
var body := JSON.stringify({"model": "MODEL_NAME", "messages": history, "stream": false})
http.request("http://localhost:11434/api/chat", ["Content-Type: application/json"], HTTPClient.METHOD_POST, body)
func _on_request_completed(result: int, code: int, _headers: PackedStringArray, body: PackedByteArray) -> void:
if result != HTTPRequest.RESULT_SUCCESS or code != 200:
push_warning("Local model request failed: %d" % code)
return
var reply: Dictionary = JSON.parse_string(body.get_string_from_utf8())["message"]
history.append(reply)
print(reply["content"]) # show it in your dialogue UIGanti MODEL_NAME dengan model yang Anda unduh, panggil ask("Is the north road safe?"), dan Brannoch menjawab dari mesin Anda sendiri. Sebuah HTTPRequest menangani satu permintaan dalam satu waktu, jadi tunggu balasannya sebelum mengirim baris berikutnya.
Langkah 3: buat terasa seperti karakter
Model mentah adalah chatbot. Untuk menjadikannya NPC, Anda perlu:
- System prompt yang lebih ketat: apa yang diinginkan karakter, apa yang tidak ia ketahui, dan cara ia berbicara. Lihat cara memberi NPC kepribadian yang unik.
- Pemangkasan riwayat: riwayat bertambah setiap baris, dan waktu untuk menjawab ikut bertambah. Simpan system prompt plus beberapa pertukaran terakhir.
- Konteks game: tambahkan satu baris tentang apa yang baru saja terjadi ("Pemain mengembalikan palu yang dicuri.") sebelum pesan pemain.
Yang dibebankan model lokal kepada pemain
Inferensi lokal memindahkan biaya dari tagihan server ke perangkat keras pemain:
- Memori. Model berbagi GPU dengan game Anda. Di runtime on-device kami sendiri, model 3B membutuhkan sekitar 3 GB VRAM dan model 2B di bawah 1 GB.
- Ukuran unduhan. Model menambahkan gigabyte ke game Anda.
- Kualitas. Model kecil tahu lebih sedikit dan lebih mudah keluar dari karakter.
- Platform. Ekspor web dan sebagian besar ponsel tidak bisa menjalankannya dengan baik.
Yang masih harus Anda bangun
Model lokal memberi Anda teks. Karakter game biasanya membutuhkan lebih dari itu:
- Suara: pengenalan ucapan untuk pemain dan text-to-speech untuk balasan, plus streaming agar waktu tunggu tetap singkat. Lihat cara kerja alur suara NPC AI.
- Emosi dan aksi: prompting untuk output terstruktur dan mengurainya dengan andal.
- Tetap dalam karakter saat pemain mendesak. Lihat cara menjaga NPC AI tetap dalam karakter.
Jalur cloud di Godot
Saat Anda menginginkan karakter, bukan chatbot, Neocortex Godot SDK menjalankan karakter di cloud, sehingga pemain tidak perlu memasang apa pun dan tidak perlu GPU cadangan. Anda merancang karakter di editor browser dengan kepribadian, basis pengetahuan, suara, dan aksi, dan SDK memberi Anda suara masuk dan keluar, emosi di setiap baris, serta aksi sebagai data, dari GDScript. Panduannya ada di cara menambahkan dialog NPC AI di Godot 4.
Studio yang membutuhkan inferensi on-device dalam produksi bisa membicarakannya dengan kami tentang runtime on-device kami, yang tersedia sebagai paket Custom: ia mengembalikan token pertamanya dalam 0,06 detik dan mulai berbicara dalam sekitar satu detik di laptop RTX 3080. Hubungi kami untuk merencanakannya.
Langkah berikutnya
Untuk perbandingan latensi, baca cara mendapatkan balasan suara NPC AI di bawah satu detik. Untuk Unity, topik yang sama dibahas di cara menjalankan LLM secara lokal di game Unity. Setiap tutorial ada di panduan membangun NPC AI.
Pertanyaan yang sering diajukan
Bagaimana cara menjalankan LLM lokal di Godot?
Jalankan model di mesin Anda dengan Ollama, lalu panggil API HTTP lokalnya dari GDScript dengan node HTTPRequest. Ini bekerja offline dan tidak menimbulkan biaya per pesan, sehingga cocok untuk membuat prototipe dialog NPC.
Bisakah saya merilis game yang memakai Ollama?
Hanya jika setiap pemain memasang Ollama dan mengunduh model, dan sedikit yang mau melakukannya. Game yang dirilis biasanya menyertakan model di dalam build atau memakai layanan cloud seperti Neocortex, yang tidak membutuhkan apa pun di mesin pemain.
Berapa ukuran model lokal yang bisa dipakai NPC?
Model dengan beberapa miliar parameter berjalan di GPU gaming yang umum. Di runtime on-device kami sendiri, model 3B membutuhkan sekitar 3 GB VRAM. Model yang lebih besar memberi jawaban yang lebih baik tetapi membutuhkan memori jauh lebih banyak.
Apakah LLM lokal di Godot mendukung suara?
Tidak dengan sendirinya: Anda harus menambahkan pengenalan ucapan dan text-to-speech secara terpisah. Neocortex Godot SDK memberi karakter suara masuk dan keluar, emosi, dan aksi, yang berjalan di cloud.






