Servidor LLM local para tu agente de IA: paso a paso
Ejecuta un servidor LLM local para tu agente de IA con Ollama o vLLM: instalación, contexto, llamadas a herramientas y pruebas antes de confiar en él.
Para ejecutar un servidor LLM local para un agente, instala Ollama (lo más sencillo) o vLLM (pensado para rendimiento en una máquina con GPU), sirve un modelo, apunta tu agente a la URL local y sube la ventana de contexto antes de probar las llamadas a herramientas. Puedes tener un endpoint funcionando en unos diez minutos. Que se comporte como backend de un agente lleva un poco más.
¿Para qué molestarse? Los prompts y los archivos se quedan en tu hardware, y dejas de pagar por token mientras experimentas. El precio es que ahora tú llevas el servidor.
¿Con qué servidor deberías empezar?
En versión corta: Ollama en un portátil o una estación de trabajo, y vLLM en una máquina Linux con GPU a la que llegarán varias personas o agentes a la vez. Nuestra comparativa de Ollama contra vLLM va más a fondo. Si tienes dudas, empieza con Ollama. Cambiar después es fácil, porque los dos pueden hablar una API de estilo OpenAI.
¿Cómo configuras Ollama?
El README de Ollama lista las formas de instalación: un script de shell en macOS y Linux, un comando de PowerShell en Windows, un instalador manual o la imagen oficial de Docker ollama/ollama. Después descarga y ejecuta un modelo:
ollama run gemma4
Ese comando es el ejemplo del propio README. La biblioteca de modelos está en ollama.com/library, así que elige uno que quepa en tu memoria.
Por defecto, el servidor escucha en 127.0.0.1, puerto 11434, y el endpoint de chat es /api/chat. Solo tu propia máquina puede llegar a él, que es un valor por defecto sensato. La FAQ de Ollama explica que la dirección se cambia con la variable de entorno OLLAMA_HOST. Hazlo solo en una red que controles, y pon autenticación delante, porque un servidor de modelos sin login es una puerta abierta a tu hardware.
¿Cómo configuras vLLM?
La guía rápida de vLLM supone Linux y Python de 3.11 a 3.14. Para GPUs NVIDIA, la instalación documentada es:
uv venv --python 3.12 --seed
source .venv/bin/activate
uv pip install vllm --torch-backend=auto
vllm download-kernels
Luego sirve un modelo:
vllm serve Qwen/Qwen2.5-1.5B-Instruct
El servidor responde en http://localhost:8000 con rutas compatibles con OpenAI, como /v1/models y /v1/chat/completions. Usa --host y --port para cambiar la dirección, y --api-key (o la variable VLLM_API_KEY) para exigir una clave. La documentación muestra otras rutas de hardware, como AMD ROCm y Google TPU, y dice que Apple Silicon va por el proyecto aparte vLLM-Metal.
¿Cómo conectas tu agente?
La mayoría de los frameworks de agentes aceptan una URL base de estilo OpenAI. Con el cliente oficial openai de Python, la guía rápida de vLLM muestra el patrón:
from openai import OpenAI
client = OpenAI(api_key="EMPTY", base_url="http://localhost:8000/v1")
Cambia el nombre del modelo por el tuyo y envía una petición de chat. Si tu framework habla con Ollama directamente, usa su endpoint nativo en el puerto 11434.
Mantén el agente, el servidor de modelos y tus herramientas como piezas separadas. Así puedes cambiar de modelo sin reescribir el agente.
¿Qué ajustes importan para los agentes?
Dos ajustes causan la mayoría de las quejas del tipo "mi agente local es tonto".
Longitud de contexto
Los agentes meten instrucciones, resultados de herramientas e historial en un solo prompt, y una ventana pequeña lo trunca en silencio. La página de longitud de contexto de Ollama dice que los valores por defecto dependen de la VRAM: 4k tokens por debajo de 24 GiB, 32k entre 24 y 48 GiB, y 256k por encima. Recomienda al menos 64.000 tokens para agentes, búsqueda web y herramientas de código, y muestra cómo ajustarlo:
OLLAMA_CONTEXT_LENGTH=64000 ollama serve
Después ejecuta ollama ps. La columna CONTEXT muestra lo que de verdad se asignó, y la columna PROCESSOR indica si el modelo se desbordó a la CPU, lo que ralentiza todo.
Llamadas a herramientas
Los documentos de llamadas a herramientas de Ollama describen el bucle que ejecuta un agente: envía las definiciones de herramientas, recibe una entrada tool_calls, ejecuta la función, devuelve el resultado en un mensaje tool y repite hasta que una respuesta no tenga llamadas a herramientas.
vLLM necesita flags explícitos. Su guía de llamadas a herramientas exige --enable-auto-tool-choice y un --tool-call-parser que coincida con tu modelo (por ejemplo hermes o llama3_json). Muchos modelos también necesitan una plantilla de chat que entienda herramientas. La misma página advierte de que los modelos pequeños suelen fallar al emitir las llamadas en el formato correcto, y de que con "auto" los argumentos pueden salir mal formados si no usas herramientas estrictas.
¿Cómo lo pruebas antes de confiar en él?
- Escribe cinco tareas reales. Usa tareas de tu propio trabajo, no un benchmark.
- Ejecuta cada una tres veces. Los modelos locales varían entre ejecuciones.
- Registra cada llamada a herramienta. Revisa nombres y argumentos, no solo las respuestas finales.
- Prueba una tarea que debería fallar. Una buena configuración se niega o pregunta; una mala inventa.
- Vigila la memoria. Si el modelo se desborda a la CPU, reduce el contexto o el modelo.
¿Y la seguridad?
Mantén el servidor en localhost mientras puedas. Si lo expones, exige una clave, usa una regla de firewall y no dejes que el agente ejecute comandos de shell ni escriba archivos sin un paso de aprobación humana mientras estás probando.
Preguntas frecuentes
¿Puedo ejecutar un agente de IA totalmente sin conexión?
Sí, si el modelo, el servidor y tus herramientas son locales. Lo que el agente busque en la web, obviamente, necesita conexión.
¿Ollama o vLLM es más rápido?
vLLM está pensado para atender muchas peticiones a la vez en GPUs. Para una persona en un portátil, Ollama es más sencillo y lo bastante rápido. Mide con tu propia tarea.
¿Qué tamaño de modelo necesito para llamadas a herramientas?
No hay una respuesta única. La documentación de vLLM señala que los modelos pequeños suelen dar mal el formato, así que prueba tus herramientas reales con el modelo que pienses usar.
¿Necesito una GPU?
No para Ollama con un modelo pequeño, pero espera respuestas lentas. La instalación documentada de vLLM apunta a GPUs y otros aceleradores.
Explora más herramientas de agentes e infraestructura en el centro de Agentes de IA e Infraestructura o en el directorio de productos de Woodander. Tu siguiente paso: sirve hoy un modelo pequeño y pásale tus cinco tareas de prueba.
