vLLM 0.31.0: Preload-CLI und neue Multimodal-Regeln

Das vLLM-Projekt hat am 5. Oktober 2026 Version 0.31.0 veröffentlicht. Sie enthält 717 Commits von 307 Mitwirkenden und bringt einen neuen Befehl vllm preload, spekulatives Decoding mit Draft-Modell im Model Runner V2 und eine brechende Änderung aus Sicherheitsgründen. Wenn Sie Modelle mit vLLM bereitstellen, lesen Sie die brechenden Änderungen, bevor Sie upgraden.

Was hat sich geändert?

• Die neue CLI vllm preload startet einen Dienst für den Gewichtscache, der nachquantisierte Gewichte über Neustarts der Engine hinweg im GPU-Speicher hält.
• Model Runner V2 erhält spekulatives Decoding mit Draft-Modell und eigene Logits-Prozessoren.
• Pro Anfrage gesetzte mm_processor_kwargs und media_io_kwargs liefern jetzt einen Fehler, außer der Server startet mit --trust-request-mm-kwargs. Flags auf Server-Ebene und die Offline-Nutzung über LLM bleiben unverändert.
• tokenizer_mode="slow" wurde entfernt, und --enable-mamba-fine-grained-prefix-cache heißt jetzt --enable-mamba-shared-prefix-checkpoint.
• Die Versionshinweise nennen einen fusionierten KimiViT-QK-RoPE-Kernel, der bis zu 29-mal schneller ist, und einen auf die Hälfte reduzierten Arbeitsspeicher für den DeepGEMM-FP8-Workspace.

Warum das wichtig ist

Die Startzeit ist ein echter Kostenfaktor, wenn Sie Agenten gegen ein selbst gehostetes Modell laufen lassen. Bei jedem Redeploy müssen die Gewichte neu geladen werden. Ein Preload-Dienst setzt genau dort an. Die Änderung bei Multimodal-Kwargs ist die, auf die Sie achten sollten. Clients, die Processor-Kwargs pro Anfrage übergeben, werden anfangen zu scheitern. Wir halten es für richtig, solche Anfragen standardmäßig abzulehnen, für jeden Server, der über Ihr eigenes Team hinaus erreichbar ist.