Neocortex Logo

Cómo ejecutar un LLM local en Godot 4

Ejecuta un LLM local en Godot 4: sirve un modelo con Ollama, llámalo desde GDScript con HTTPRequest, guarda el historial del chat y conoce lo que cuestan los modelos locales a los jugadores.

Sercan AltundasFounder of Neocortex

· 8 min de lectura

Ejecuta un LLM local en Godot 4: sirve un modelo con Ollama, llámalo desde GDScript con HTTPRequest, guarda el historial del chat y conoce lo que cuestan los modelos locales a los jugadores.

Ejecutar un modelo de lenguaje en local en Godot significa que tus NPC pueden hablar sin internet y sin una factura por mensaje. La configuración más sencilla es Ollama, que sirve modelos abiertos en tu propia máquina, junto con el nodo HTTPRequest integrado de Godot. Esta guía construye un chat de NPC en local con GDScript y después explica lo que implica de verdad publicar un modelo local a los jugadores.

Dos formas de ejecutar un modelo en local

  • Un servidor local como Ollama se ejecuta junto al juego y responde por HTTP. Es fácil de configurar y muy útil para prototipar, pero cada jugador tendría que tenerlo instalado.
  • Un modelo dentro del juego mediante una GDExtension que incorpora llama.cpp, como hacen complementos de código abierto como NobodyWho. Los jugadores no tienen que instalar nada más, pero el modelo viaja con tu juego y se ejecuta en su hardware.

Esta guía usa Ollama, porque lleva diez minutos y el GDScript es la misma idea para cualquier servidor de modelos por HTTP.

Paso 1: ejecuta un modelo con Ollama

Instala Ollama, luego descarga un modelo pequeño y pruébalo en una terminal. Los modelos pequeños de unos cuantos miles de millones de parámetros responden rápido en una GPU de juegos típica, y son más que suficientes para probar diálogos. Ollama escucha en http://localhost:11434 mientras se ejecuta.

Paso 2: llámalo desde GDScript

Añade un nodo HTTPRequest como hijo de tu NPC, y luego adjunta este script. Mantiene el historial de la conversación para que el modelo sepa lo que se dijo antes:

extends Node

@onready var http: HTTPRequest = $HTTPRequest

var history: Array = [
	{"role": "system", "content": "You are Brannoch, a gruff village blacksmith. Answer in one or two sentences."}
]

func _ready() -> void:
	http.request_completed.connect(_on_request_completed)

func ask(player_line: String) -> void:
	history.append({"role": "user", "content": player_line})
	var body := JSON.stringify({"model": "MODEL_NAME", "messages": history, "stream": false})
	http.request("http://localhost:11434/api/chat", ["Content-Type: application/json"], HTTPClient.METHOD_POST, body)

func _on_request_completed(result: int, code: int, _headers: PackedStringArray, body: PackedByteArray) -> void:
	if result != HTTPRequest.RESULT_SUCCESS or code != 200:
		push_warning("Local model request failed: %d" % code)
		return
	var reply: Dictionary = JSON.parse_string(body.get_string_from_utf8())["message"]
	history.append(reply)
	print(reply["content"])  # show it in your dialogue UI

Sustituye MODEL_NAME por el modelo que descargaste, llama a ask("Is the north road safe?") y Brannoch responderá desde tu propia máquina. Un HTTPRequest atiende una petición cada vez, así que espera la respuesta antes de enviar la siguiente línea.

Paso 3: haz que parezca un personaje

Un modelo en bruto es un chatbot. Para convertirlo en un NPC te interesará:

  • Un prompt de sistema más preciso: lo que el personaje quiere, lo que no sabe y cómo habla. Consulta cómo dar a los NPC personalidades únicas.
  • Recorte del historial: el historial crece con cada línea, y con él el tiempo de respuesta. Conserva el prompt de sistema y los últimos intercambios.
  • Contexto del juego: añade una línea breve sobre lo que acaba de pasar ("El jugador devolvió el martillo robado.") antes del mensaje del jugador.

Lo que cuesta un modelo local al jugador

La inferencia local traslada el coste de la factura del servidor al hardware del jugador:

  • Memoria. El modelo comparte la GPU con tu juego. En nuestro propio runtime en el dispositivo, un modelo de 3B necesita unos 3 GB de VRAM, y uno de 2B menos de 1 GB.
  • Tamaño de descarga. Los modelos suman gigabytes a tu juego.
  • Calidad. Los modelos pequeños saben menos y se salen del personaje con más facilidad.
  • Plataformas. Las exportaciones web y la mayoría de los móviles no pueden ejecutarlos bien.

Lo que te queda por construir

Un modelo local te da texto. Un personaje de juego suele necesitar más:

  • Voz: reconocimiento de voz para el jugador y texto a voz para la respuesta, además de streaming para que la espera siga siendo corta. Consulta cómo funciona la cadena de voz de los NPC con IA.
  • Emoción y acciones: pedir una salida estructurada y analizarla de forma fiable.
  • Mantenerse en personaje cuando los jugadores presionan. Consulta cómo mantener a los NPC con IA en personaje.

La ruta en la nube con Godot

Cuando quieres un personaje en lugar de un chatbot, el SDK de Godot de Neocortex ejecuta los personajes en la nube, así que los jugadores no necesitan instalar nada ni tener una GPU libre. Diseñas el personaje en un editor del navegador con una personalidad, una base de conocimiento, una voz y acciones, y el SDK te da voz de entrada y de salida, una emoción en cada línea y acciones como datos, desde GDScript. El paso a paso está en cómo añadir diálogo de NPC con IA en Godot 4.

Los estudios que necesitan inferencia en el dispositivo en producción pueden hablar con nosotros sobre nuestro runtime en el dispositivo, disponible como plan Custom: devuelve el primer token en 0,06 segundos y empieza a hablar en aproximadamente un segundo en un portátil con RTX 3080. Contáctanos para planificarlo.

Próximos pasos

Para los compromisos de latencia, lee cómo obtener respuestas de voz de NPC con IA en menos de un segundo. Para Unity, el mismo tema está en cómo ejecutar un LLM en local en un juego de Unity. Todos los tutoriales están en la guía para crear NPC con IA.

Preguntas frecuentes

¿Cómo ejecuto un LLM local en Godot?

Ejecuta un modelo en tu equipo con Ollama, y luego llama a su API HTTP local desde GDScript con un nodo HTTPRequest. Funciona sin conexión y no cuesta nada por mensaje, lo que lo hace una buena forma de prototipar diálogos de NPC.

¿Puedo publicar un juego que use Ollama?

Solo si cada jugador instala Ollama y descarga un modelo, algo que pocos harán. Los juegos publicados incluyen el modelo dentro de la compilación o usan un servicio en la nube como Neocortex, que no necesita nada en el equipo del jugador.

¿Qué tamaño de modelo local puede usar un NPC?

Los modelos de unos cuantos miles de millones de parámetros se ejecutan en GPU de juegos típicas. En nuestro propio runtime en el dispositivo, un modelo de 3B necesita unos 3 GB de VRAM. Los modelos más grandes dan mejores respuestas, pero necesitan mucha más memoria.

¿Un LLM local en Godot admite voz?

No por sí solo: tendrías que añadir el reconocimiento de voz y el texto a voz por separado. El SDK de Godot de Neocortex da a los personajes voz de entrada y de salida, emociones y acciones, ejecutándose en la nube.

Artículos similares

Sigue leyendo