Neocortex Logo

Come eseguire un LLM locale in Godot 4

Eseguire un LLM locale in Godot 4: servire un modello con Ollama, chiamarlo da GDScript con HTTPRequest, conservare la cronologia della chat e sapere quanto costano i modelli locali ai giocatori.

Sercan AltundasFounder of Neocortex

· 8 min di lettura

Eseguire un LLM locale in Godot 4: servire un modello con Ollama, chiamarlo da GDScript con HTTPRequest, conservare la cronologia della chat e sapere quanto costano i modelli locali ai giocatori.

Eseguire un modello linguistico in locale in Godot significa che i tuoi NPC possono parlare senza internet e senza una fattura per ogni messaggio. La configurazione più semplice è Ollama, che serve modelli aperti sulla tua macchina, insieme al nodo integrato HTTPRequest di Godot. Questa guida costruisce una chat locale con un NPC in GDScript, poi spiega cosa comporta davvero distribuire un modello locale ai giocatori.

Due modi per eseguire un modello in locale

  • Un server locale come Ollama gira accanto al gioco e risponde via HTTP. È facile da configurare e ideale per i prototipi, ma ogni giocatore dovrebbe averlo installato.
  • Un modello dentro il gioco tramite un GDExtension che incorpora llama.cpp, come fanno addon open source tipo NobodyWho. Non serve nulla in più per i giocatori, ma il modello viene distribuito con il gioco e gira sul loro hardware.

Questa guida usa Ollama, perché richiede dieci minuti e il GDScript segue la stessa logica per qualsiasi server di modelli via HTTP.

Passo 1: esegui un modello con Ollama

Installa Ollama, poi scarica un modello piccolo e provalo da un terminale. I modelli piccoli, da qualche miliardo di parametri, rispondono rapidamente su una GPU da gioco standard, e bastano per testare i dialoghi. Ollama resta in ascolto su http://localhost:11434 mentre è in esecuzione.

Passo 2: chiamalo da GDScript

Aggiungi un nodo HTTPRequest come figlio del tuo NPC, poi collega questo script. Conserva la cronologia della conversazione così il modello sa cosa è stato detto prima:

extends Node

@onready var http: HTTPRequest = $HTTPRequest

var history: Array = [
	{"role": "system", "content": "You are Brannoch, a gruff village blacksmith. Answer in one or two sentences."}
]

func _ready() -> void:
	http.request_completed.connect(_on_request_completed)

func ask(player_line: String) -> void:
	history.append({"role": "user", "content": player_line})
	var body := JSON.stringify({"model": "MODEL_NAME", "messages": history, "stream": false})
	http.request("http://localhost:11434/api/chat", ["Content-Type: application/json"], HTTPClient.METHOD_POST, body)

func _on_request_completed(result: int, code: int, _headers: PackedStringArray, body: PackedByteArray) -> void:
	if result != HTTPRequest.RESULT_SUCCESS or code != 200:
		push_warning("Local model request failed: %d" % code)
		return
	var reply: Dictionary = JSON.parse_string(body.get_string_from_utf8())["message"]
	history.append(reply)
	print(reply["content"])  # show it in your dialogue UI

Sostituisci MODEL_NAME con il modello che hai scaricato, chiama ask("Is the north road safe?"), e Brannoch risponde dalla tua macchina. Un HTTPRequest gestisce una richiesta alla volta, quindi aspetta la risposta prima di inviare la battuta successiva.

Passo 3: fallo sembrare un personaggio

Un modello grezzo è un chatbot. Per farne un NPC ti servono:

  • Un prompt di sistema più stretto: cosa vuole il personaggio, cosa non sa, come parla. Vedi come dare agli NPC personalità uniche.
  • Taglio della cronologia: la cronologia cresce a ogni battuta, e con lei il tempo per rispondere. Tieni il prompt di sistema più gli ultimi scambi.
  • Contesto di gioco: aggiungi una breve riga su ciò che è appena successo ("Il giocatore ha restituito il martello rubato.") prima del messaggio del giocatore.

Quanto costa un modello locale ai giocatori

L'inferenza in locale sposta il costo dalla fattura del server all'hardware del giocatore:

  • Memoria. Il modello condivide la GPU con il gioco. Sul nostro runtime on-device, un modello da 3B richiede circa 3 GB di VRAM e uno da 2B meno di 1 GB.
  • Dimensione del download. I modelli aggiungono gigabyte al gioco.
  • Qualità. I modelli piccoli sanno meno e perdono più facilmente il personaggio.
  • Piattaforme. Le esportazioni web e la maggior parte dei telefoni non li eseguono bene.

Cosa ti lascia da costruire

Un modello locale ti dà testo. Un personaggio di gioco di solito richiede di più:

  • Voce: riconoscimento vocale per il giocatore e text-to-speech per la risposta, più lo streaming perché l'attesa resti breve. Vedi come funziona la pipeline vocale degli NPC IA.
  • Emozione e azioni: prompt per un output strutturato e un'analisi affidabile.
  • Restare nel personaggio quando i giocatori spingono. Vedi come tenere gli NPC IA nel personaggio.

La strada del cloud in Godot

Quando vuoi un personaggio invece di un chatbot, l'SDK Godot di Neocortex fa girare i personaggi nel cloud, quindi i giocatori non devono installare nulla e non serve una GPU libera. Progetti il personaggio in un editor nel browser con personalità, una base di conoscenza, una voce e delle azioni, e l'SDK ti dà voce in entrata e in uscita, un'emozione su ogni battuta e le azioni come dati, da GDScript. Il percorso guidato è in come aggiungere dialoghi NPC IA in Godot 4.

Gli studi che hanno bisogno di inferenza on-device in produzione possono parlare con noi del nostro runtime on-device, disponibile come piano Custom: restituisce il primo token in 0,06 secondi e inizia a parlare in circa un secondo su un portatile con RTX 3080. Contattaci per pianificarlo.

Prossimi passi

Per i compromessi sulla latenza, leggi come ottenere risposte vocali degli NPC IA in meno di un secondo. Per Unity, lo stesso argomento è trattato in come eseguire un LLM in locale in un gioco Unity. Tutti i tutorial sono nella guida alla creazione di NPC IA.

Domande frequenti

Come eseguo un LLM locale in Godot?

Esegui un modello sulla tua macchina con Ollama, poi chiama la sua API HTTP locale da GDScript con un nodo HTTPRequest. Funziona offline e non costa nulla per messaggio, il che lo rende un buon modo per prototipare i dialoghi degli NPC.

Posso distribuire un gioco che usa Ollama?

Solo se ogni giocatore installa Ollama e scarica un modello, cosa che in pochi faranno. I giochi distribuiti o includono il modello nella build oppure usano un servizio nel cloud come Neocortex, che non richiede nulla sulla macchina del giocatore.

Quale dimensione di modello locale può usare un NPC?

I modelli da qualche miliardo di parametri girano su GPU da gioco standard. Sul nostro runtime on-device, un modello da 3B richiede circa 3 GB di VRAM. I modelli più grandi danno risposte migliori ma richiedono molta più memoria.

Un LLM locale in Godot supporta la voce?

Non da solo: aggiungeresti separatamente il riconoscimento vocale e il text-to-speech. L'SDK Godot di Neocortex dà ai personaggi voce in entrata e in uscita, emozioni e azioni, con esecuzione nel cloud.

Articoli simili

Continua a leggere