Ollama vs vLLM: qué servidor de modelos conviene ejecutar
Ollama vs vLLM: compara instalación, hardware, concurrencia, llamadas a herramientas y licencias según sus propios repos, con una regla sencilla para elegir.
Elige Ollama si quieres tener un modelo funcionando en un portátil o una estación de trabajo en cuestión de minutos. Elige vLLM si atiendes muchas peticiones a la vez desde máquinas Linux con GPU y te importa el rendimiento. Los dos son de código abierto, los dos exponen una API a la que tu agente puede llamar, y puedes cambiar después sin reescribir el agente.
Leímos las páginas de GitHub de cada proyecto en octubre de 2026 para los datos de este artículo. Las cifras de velocidad no están aquí: mídelas con tu propio modelo y tu hardware.
¿Cuál es la diferencia entre Ollama y vLLM?
Ollama es un entorno para ejecutar modelos en local con una línea de comandos y una app sencilla. vLLM, según su README, es una biblioteca de código abierto para inferencia y servicio rápido de LLM, y nació en el Sky Computing Lab de la UC Berkeley. Uno está pensado para la comodidad y el otro para la carga de servicio.
| Ollama | vLLM | |
|---|---|---|
| Usuario típico | Un desarrollador o un equipo pequeño | Un equipo que atiende a muchos usuarios o agentes |
| Licencia | MIT | Apache-2.0 |
| Instalación | Script de shell, PowerShell, instalador o Docker | uv pip install vllm y luego vllm download-kernels |
| Ejecutar un modelo | ollama run gemma4 |
vllm serve <model> |
| Dirección por defecto | 127.0.0.1:11434 | localhost:8000 |
| Plataformas | macOS, Windows, Linux, Docker | Linux primero, más varios aceleradores |
¿En qué se diferencian en hardware?
Ollama lista macOS, Windows, Linux y Docker, y señala llama.cpp como backend compatible. Su versión 0.40.0, publicada el 25 de septiembre, convirtió a MLX en el entorno de ejecución por defecto en Apple Silicon. Eso importa si tu equipo trabaja con Mac.
La guía rápida de vLLM exige Linux y Python de 3.11 a 3.14. El README lista GPUs de NVIDIA, AMD e Intel y varios tipos de CPU, con plugins para otros como las TPU de Google. Apple Silicon va por un proyecto aparte, vLLM-Metal. Si lo que tienes sobre todo son Mac, Ollama es el camino más fácil.
¿Cuál maneja mejor a muchos usuarios?
Esa es la razón de ser de vLLM. Su README menciona PagedAttention para la gestión de memoria, batching continuo, prefill por trozos y caché de prefijos, además de varias formas de paralelismo entre GPUs.
Ollama también maneja la concurrencia, con límites que puedes ver. Su FAQ indica que cada modelo procesa una petición a la vez por defecto (OLLAMA_NUM_PARALLEL, que vale 1), que los modelos se quedan en memoria 5 minutos, y que hasta tres modelos por GPU pueden cargarse a la vez. Las peticiones extra esperan en cola. Para un desarrollador y un agente basta. Para un equipo, es una tarea de ajuste.
¿Cómo se comparan para agentes y llamadas a herramientas?
Los dos soportan llamadas a herramientas, pero con esfuerzos distintos.
- Ollama: las definiciones de herramientas van en un array
toolsen/api/chat. Los documentos recorren llamadas simples, llamadas en paralelo y un bucle de agente completo. Funciona de inmediato con los modelos que lo soportan. - vLLM: hay que arrancar el servidor con
--enable-auto-tool-choicey un--tool-call-parserpara tu modelo, y algunos modelos necesitan una plantilla de chat específica. La guía de llamadas a herramientas también advierte de que los modelos pequeños suelen dar mal el formato. A cambio, obtienes opciones comotool_choice: "required"y salidas estructuradas.
Para los agentes, configura la ventana de contexto desde el principio. Los documentos de Ollama recomiendan al menos 64.000 tokens para agentes y herramientas de código, y su valor por defecto depende de tu VRAM (4k por debajo de 24 GiB).
¿Qué pasa con las actualizaciones y los cambios que rompen?
Los dos avanzan rápido, así que fija versiones.
- Ollama publicó la 0.40.0 el 25 de septiembre y había llegado a la 0.40.4 como prelanzamiento el 12 de octubre. La versión 0.40.2 empezó a actualizar en segundo plano los modelos descargados con versiones anteriores, y guarda copias de los originales. Por eso el uso de disco sube hasta que las borras.
- Las notas de la versión 0.31.0 de vLLM (5 de octubre) listan cambios que rompen, incluida la eliminación de
tokenizer_mode="slow"y el reemplazo dequantization="fp8"porfp8_per_tensor. Si scripteas flags de vLLM, lee las notas antes de cada actualización.
¿Cuál deberías elegir?
- Una persona, un portátil y agentes de prueba: Ollama.
- Un servidor GPU compartido por varios agentes o usuarios: vLLM.
- Un equipo que trabaja con Mac: Ollama.
- Si no lo tienes claro: empieza con Ollama y cambia cuando las colas empiecen a molestar.
Nuestra guía paso a paso para montar un servidor LLM local para agentes muestra la configuración de ambos.
Preguntas frecuentes
¿vLLM puede ejecutarse en un Mac?
No por la vía de instalación principal. La guía rápida de vLLM envía a los usuarios de Apple Silicon a vLLM-Metal.
¿Ollama es gratis para uso comercial?
Tiene licencia MIT, según su README. Lee la licencia de cada modelo que descargues por separado, porque las licencias de los modelos varían.
¿Los dos ofrecen una API compatible con OpenAI?
El README de vLLM lo dice directamente. Ollama tiene una página de compatibilidad con OpenAI en sus documentos, pero revisa qué funciones necesita tu agente.
¿Puedo usar los dos?
Sí. Algunos equipos prototipan en Ollama y despliegan en vLLM.
Explora más herramientas en el centro de Agentes de IA e Infraestructura. Tu siguiente paso: pasa las mismas cinco preguntas a los dos y compara las respuestas, no los benchmarks.
