Ollama vs. vLLM: Welchen Modellserver sollten Sie betreiben?
Ollama oder vLLM für Ihre Agenten? Installation, Hardware, Parallelität, Tool-Aufrufe und Lizenzen aus den offiziellen Repos, plus eine einfache Faustregel.
Wählen Sie Ollama, wenn Sie ein Modell in wenigen Minuten auf einem Laptop oder Workstation laufen lassen wollen. Wählen Sie vLLM, wenn Sie viele Anfragen gleichzeitig von Linux-GPU-Rechnern aus bedienen und auf Durchsatz achten. Beide sind Open Source, beide bieten eine API, die Ihr Agent ansprechen kann, und Sie können später wechseln, ohne den Agenten neu zu schreiben.
Die Fakten unten stammen aus den eigenen GitHub-Seiten der beiden Projekte, gelesen im Oktober 2026. Geschwindigkeitsangaben finden Sie hier nicht. Messen Sie das mit Ihrem Modell und Ihrer Hardware.
Was ist der Unterschied zwischen Ollama und vLLM?
Ollama ist eine Laufzeitumgebung, mit der Sie Modelle lokal betreiben, über eine einfache Kommandozeile und eine App. vLLM ist laut seiner README eine Open-Source-Bibliothek für schnelle LLM-Inferenz und -Bereitstellung, die im Sky Computing Lab der UC Berkeley begann. Das eine ist auf Bequemlichkeit gebaut, das andere auf hohe Last.
| Ollama | vLLM | |
|---|---|---|
| Typischer Nutzer | Eine Entwicklerin oder ein kleines Team | Ein Team, das viele Nutzer oder Agenten bedient |
| Lizenz | MIT | Apache-2.0 |
| Installation | Shell-Skript, PowerShell, Installer, Docker | uv pip install vllm, danach vllm download-kernels |
| Modell starten | ollama run gemma4 |
vllm serve <model> |
| Standardadresse | 127.0.0.1:11434 | localhost:8000 |
| Plattformen | macOS, Windows, Linux, Docker | Zuerst Linux, dazu mehrere Beschleuniger |
Wie unterscheiden sie sich bei der Hardware?
Ollama unterstützt macOS, Windows, Linux und Docker und nennt llama.cpp als unterstütztes Backend. Die Version 0.40.0, veröffentlicht am 25. September, machte MLX auf Apple Silicon zur Standard-Laufzeit. Das zählt, wenn Ihr Team mit Macs arbeitet.
Die Schnellstart-Anleitung von vLLM setzt Linux und Python 3.11 bis 3.14 voraus. Die README nennt GPUs von NVIDIA, AMD und Intel sowie mehrere CPU-Typen, dazu Plugins für andere, etwa Google TPUs. Apple Silicon läuft über ein eigenes Projekt, vLLM-Metal. Wenn Sie vor allem Macs haben, ist Ollama der einfachere Weg.
Welches Tool verkraftet viele Nutzer besser?
Genau dafür gibt es vLLM. Die README nennt PagedAttention zur Speicherverwaltung, kontinuierliches Batching, chunked Prefill und Prefix-Caching sowie mehrere Formen der Parallelisierung über GPUs.
Ollama kann ebenfalls mehrere Anfragen verarbeiten, mit Grenzen, die Sie sehen können. Die FAQ von Ollama sagt: Jedes Modell verarbeitet standardmäßig eine Anfrage nach der anderen (OLLAMA_NUM_PARALLEL, Standard 1), Modelle bleiben 5 Minuten im Speicher, und bis zu drei Modelle pro GPU werden gleichzeitig geladen. Weitere Anfragen warten in einer Schlange. Für eine Entwicklerin und einen Agenten reicht das. Für ein Team ist es eine Tuning-Aufgabe.
Wie vergleichen sie sich bei Agenten und Tool-Aufrufen?
Beide unterstützen Tool-Aufrufe, aber mit unterschiedlichem Aufwand.
- Ollama: Tool-Definitionen gehen in ein Feld
toolsbei/api/chat. Die Dokumentation beschreibt einzelne Aufrufe, parallele Aufrufe und eine vollständige Agentenschleife. Für Modelle, die das können, funktioniert es direkt. - vLLM: Sie müssen den Server mit
--enable-auto-tool-choiceund einem--tool-call-parserstarten, der zu Ihrem Modell passt. Manche Modelle brauchen außerdem ein Chat-Template mit Tool-Unterstützung. Der Leitfaden zu Tool-Aufrufen warnt zudem, dass kleinere Modelle das Format oft falsch treffen. Dafür bekommen Sie Optionen wietool_choice: "required"und strukturierte Ausgaben.
Legen Sie bei Agenten das Kontextfenster von Anfang an fest. Die Dokumentation von Ollama empfiehlt für Agenten und Coding-Werkzeuge mindestens 64.000 Tokens. Der Standardwert hängt vom VRAM ab (4k unter 24 GiB).
Was ist mit Updates und Breaking Changes?
Beide Projekte bewegen sich schnell, also fixieren Sie die Versionen.
- Ollama hat 0.40.0 am 25. September veröffentlicht und war am 12. Oktober als Vorabversion bei 0.40.4 angekommen. Version 0.40.2 begann, mit früheren Versionen heruntergeladene Modelle im Hintergrund zu aktualisieren. Dabei werden Sicherungen der Originale behalten, und der Speicherbedarf steigt, bis Sie sie entfernen.
- Die Notizen zu vLLM 0.31.0 (5. Oktober) listen Breaking Changes, darunter das Entfernen von
tokenizer_mode="slow"und den Ersatz vonquantization="fp8"durchfp8_per_tensor. Wenn Sie vLLM-Parameter in Skripten setzen, lesen Sie die Notizen vor jedem Upgrade.
Welches sollten Sie wählen?
- Eine Person, ein Laptop, Agenten ausprobieren: Ollama.
- Ein gemeinsamer GPU-Server für mehrere Agenten oder Nutzer: vLLM.
- Ein Team, das mit Macs arbeitet: Ollama.
- Unsicher: Starten Sie mit Ollama und wechseln Sie, wenn die Warteschlange stört.
Unser Schritt-für-Schritt-Leitfaden zum lokalen LLM-Server für Agenten zeigt die Einrichtung für beide.
FAQ
Kann vLLM auf einem Mac laufen?
Nicht über den Hauptweg der Installation. Die Schnellstart-Anleitung von vLLM verweist Nutzer von Apple Silicon auf vLLM-Metal.
Ist Ollama für kommerzielle Nutzung kostenlos?
Laut README steht Ollama unter der MIT-Lizenz. Prüfen Sie aber die Lizenz jedes Modells, das Sie herunterladen, separat, denn die Modelllizenzen unterscheiden sich.
Bieten beide eine OpenAI-kompatible API?
Die README von vLLM sagt das ausdrücklich. Ollama hat eine Dokumentationsseite zur OpenAI-Kompatibilität, prüfen Sie aber, welche Funktionen Ihr Agent braucht.
Kann ich beide betreiben?
Ja. Manche Teams prototypen mit Ollama und stellen mit vLLM bereit.
Weitere Agenten- und Infrastruktur-Werkzeuge finden Sie im Hub AI-Agenten & Infrastruktur. Ihr nächster Schritt: Stellen Sie dieselben fünf Prompts an beiden Servern und vergleichen Sie die Antworten, nicht die Benchmarks.
