Lokaler LLM-Server für KI-Agenten: Schritt für Schritt
Betreiben Sie einen lokalen LLM-Server für Ihren Agenten mit Ollama oder vLLM: installieren, Modell starten, Kontext und Tool-Aufrufe einstellen und testen.
Um einen lokalen LLM-Server für einen Agenten zu betreiben, installieren Sie Ollama (am einfachsten) oder vLLM (für Durchsatz auf einer GPU-Maschine), starten ein Modell, richten Ihren Agenten auf die lokale Adresse und vergrößern das Kontextfenster, bevor Sie Tool-Aufrufe testen. Einen funktionierenden Endpunkt haben Sie in etwa zehn Minuten. Dass er sich wie ein Agenten-Backend verhält, braucht etwas länger.
Warum überhaupt? Prompts und Dateien bleiben auf Ihrer eigenen Hardware, und Sie zahlen beim Experimentieren nicht pro Token. Der Preis: Sie betreiben den Server jetzt selbst.
Mit welchem Server sollten Sie beginnen?
Kurz gesagt: Ollama auf einem Laptop oder einer Workstation, vLLM auf einer Linux-Maschine mit GPU, die mehrere Personen oder Agenten gleichzeitig ansprechen. Unser Vergleich Ollama vs. vLLM geht tiefer. Wenn Sie unsicher sind, starten Sie mit Ollama. Ein späterer Wechsel ist einfach, weil beide eine API im OpenAI-Stil sprechen können.
Wie richten Sie Ollama ein?
Die README von Ollama nennt die Installationswege: ein Shell-Skript für macOS und Linux, einen PowerShell-Befehl für Windows, einen manuellen Installer oder das offizielle Docker-Image ollama/ollama. Dann laden Sie ein Modell und starten es:
ollama run gemma4
Dieser Befehl ist das Beispiel aus der README. Die Modellbibliothek finden Sie unter ollama.com/library. Wählen Sie etwas, das in Ihren Arbeitsspeicher passt.
Standardmäßig lauscht der Server auf 127.0.0.1, Port 11434, und der Chat-Endpunkt ist /api/chat. Nur Ihr eigener Rechner kann ihn erreichen, und das ist ein vernünftiger Standard. Laut FAQ von Ollama ändern Sie die Bindungsadresse mit der Umgebungsvariable OLLAMA_HOST. Tun Sie das nur in einem Netzwerk, das Sie kontrollieren, und setzen Sie eine Authentifizierung davor. Ein Modellserver ohne Anmeldung ist eine offene Tür zu Ihrer Hardware.
Wie richten Sie vLLM ein?
Die Schnellstart-Anleitung von vLLM setzt Linux und Python 3.11 bis 3.14 voraus. Für NVIDIA-GPUs ist die dokumentierte Installation:
uv venv --python 3.12 --seed
source .venv/bin/activate
uv pip install vllm --torch-backend=auto
vllm download-kernels
Dann stellen Sie ein Modell bereit:
vllm serve Qwen/Qwen2.5-1.5B-Instruct
Der Server antwortet unter http://localhost:8000 mit OpenAI-kompatiblen Routen wie /v1/models und /v1/chat/completions. Mit --host und --port ändern Sie die Adresse, und mit --api-key (oder der Variable VLLM_API_KEY) verlangen Sie einen Schlüssel. Die Dokumentation zeigt weitere Hardware-Wege, etwa AMD ROCm und Google TPU, und sagt, dass Apple Silicon über das separate Projekt vLLM-Metal läuft.
Wie verbinden Sie Ihren Agenten?
Die meisten Agenten-Frameworks akzeptieren eine Basis-URL im OpenAI-Stil. Mit dem offiziellen Python-Client openai zeigt die Schnellstart-Anleitung von vLLM das Muster:
from openai import OpenAI
client = OpenAI(api_key="EMPTY", base_url="http://localhost:8000/v1")
Tauschen Sie den Modellnamen aus und senden Sie eine Chat-Anfrage. Spricht Ihr Framework Ollama direkt an, nutzen Sie stattdessen dessen eigenen Endpunkt auf Port 11434.
Halten Sie Agent, Modellserver und Ihre Werkzeuge als getrennte Teile. So können Sie das Modell wechseln, ohne den Agenten neu zu schreiben.
Welche Einstellungen sind für Agenten wichtig?
Zwei Einstellungen verursachen die meisten Klagen wie „mein lokaler Agent ist dumm“.
Kontextlänge
Agenten packen Anweisungen, Werkzeug-Ergebnisse und Verlauf in einen einzigen Prompt. Ein kleines Fenster schneidet still ab. Die Seite zur Kontextlänge von Ollama sagt, die Standardwerte hängen vom VRAM ab: 4k Tokens unter 24 GiB, 32k zwischen 24 und 48 GiB, 256k darüber. Für Agenten, Websuche und Coding-Werkzeuge empfiehlt sie mindestens 64.000 Tokens und zeigt, wie Sie das setzen:
OLLAMA_CONTEXT_LENGTH=64000 ollama serve
Führen Sie danach ollama ps aus. Die Spalte CONTEXT zeigt, was tatsächlich reserviert wurde, und die Spalte PROCESSOR zeigt, ob das Modell auf die CPU ausgewichen ist. Das verlangsamt alles.
Tool-Aufrufe
Die Dokumentation von Ollama zu Tool-Aufrufen beschreibt die Schleife, die ein Agent durchläuft: Tool-Definitionen senden, einen Eintrag tool_calls empfangen, die Funktion ausführen, das Ergebnis in einer Nachricht tool zurückgeben und das wiederholen, bis eine Antwort keine Tool-Aufrufe mehr enthält.
vLLM braucht explizite Flags. Der Leitfaden zu Tool-Aufrufen verlangt --enable-auto-tool-choice und einen --tool-call-parser, der zu Ihrem Modell passt, zum Beispiel hermes oder llama3_json. Viele Modelle brauchen außerdem ein Tool-fähiges Chat-Template. Dieselbe Seite warnt, dass kleinere Modelle oft kein Tool-Format im richtigen Stil liefern und dass bei "auto" die Argumente fehlerhaft sein können, solange Sie keine strikten Tools verwenden.
Wie testen Sie, bevor Sie vertrauen?
- Schreiben Sie fünf echte Aufgaben. Nehmen Sie Aufgaben aus Ihrer eigenen Arbeit, keine Benchmark-Aufgaben.
- Lassen Sie jede dreimal laufen. Lokale Modelle schwanken zwischen den Durchläufen.
- Protokollieren Sie jeden Tool-Aufruf. Prüfen Sie Namen und Argumente, nicht nur die Endergebnisse.
- Probieren Sie eine Aufgabe, die scheitern sollte. Ein gutes Setup lehnt ab oder fragt nach, ein schlechtes erfindet etwas.
- Achten Sie auf den Speicher. Weicht das Modell auf die CPU aus, verkleinern Sie den Kontext oder das Modell.
Was ist mit der Sicherheit?
Halten Sie den Server auf localhost, bis Sie etwas anderes brauchen. Wenn Sie ihn nach außen öffnen, verlangen Sie einen Schlüssel, setzen Sie eine Firewall-Regel, und lassen Sie den Agenten keine Shell-Befehle ausführen und keine Dateien schreiben, ohne dass ein Mensch zustimmt, solange Sie noch testen.
FAQ
Kann ich einen KI-Agenten komplett offline betreiben?
Ja, wenn Modell, Server und Ihre Werkzeuge lokal sind. Alles, was der Agent aus dem Netz abruft, braucht natürlich eine Verbindung.
Ist Ollama oder vLLM schneller?
vLLM ist dafür gebaut, viele Anfragen gleichzeitig auf GPUs zu bedienen. Für eine Person auf einem Laptop ist Ollama einfacher und schnell genug. Messen Sie mit Ihrer eigenen Aufgabe.
Wie groß muss ein Modell für Tool-Aufrufe sein?
Eine einzige Antwort gibt es nicht. Die Dokumentation von vLLM weist darauf hin, dass kleinere Modelle oft das Format verfehlen. Testen Sie also Ihre echten Werkzeuge mit dem Modell, das Sie einsetzen wollen.
Brauche ich eine GPU?
Für Ollama mit einem kleinen Modell nicht, Sie müssen dann aber mit langsamen Antworten rechnen. Die dokumentierte Installation von vLLM zielt auf GPUs und andere Beschleuniger.
Weitere Werkzeuge für Agenten und Infrastruktur finden Sie im Hub AI-Agenten & Infrastruktur oder im Produktverzeichnis von Woodander. Ihr nächster Schritt: Starten Sie heute ein kleines Modell und lassen Sie Ihre fünf Testaufgaben dagegen laufen.
