vLLM 0.31.0: команда preload і зміна мультимодальних kwargs

Проєкт vLLM випустив версію 0.31.0 5 жовтня 2026 року. Вона містить 717 комітів від 307 учасників і включає нову команду vllm preload, спекулятивне декодування на draft-моделі в Model Runner V2 та несумісну зміну, мотивовану безпекою. Якщо обслуговуєте моделі через vLLM, прочитайте несумісні зміни перед оновленням.

Що змінилося?

• Нова команда vllm preload запускає демон кешу ваг, який тримає вже квантовані ваги в пам'яті GPU між перезапусками рушія.
• Model Runner V2 отримав спекулятивне декодування на draft-моделі та власні процесори логітів (custom logits processors).
• Kwargs mm_processor_kwargs і media_io_kwargs на рівні запиту тепер повертають помилку, якщо сервер не запущено з --trust-request-mm-kwargs. Прапорці рівня сервера та офлайн-використання LLM не змінилися.
• tokenizer_mode="slow" прибрано, а --enable-mamba-fine-grained-prefix-cache перейменовано на --enable-mamba-shared-prefix-checkpoint.
• У нотатках до релізу вказано злите ядро KimiViT QK RoPE, яке працює до 29 разів швидше, і вдвічі менший робочий простір DeepGEMM FP8.

Чому це важливо?

Час перезапуску є реальною ціною, коли ви запускаєте агентів на власній моделі: кожне повторне розгортання означає повторне завантаження ваг. Демон попереднього завантаження б'є саме в це. Зміну для мультимодальних даних варто відстежувати. Клієнти, які передають kwargs обробника на кожен запит, почнуть відмовляти, і на нашу думку відхилення їх за замовчуванням є правильним рішенням для будь-якого сервера, відкритого за межі вашої команди.

Що зробити зараз?

1. Пошукайте у клієнтському коді mm_processor_kwargs і media_io_kwargs. Перенесіть значення в прапорці рівня сервера або додайте --trust-request-mm-kwargs, лише якщо контролюєте кожного клієнта.
2. Знайдіть у скриптах запуску перейменований прапорець Mamba і прибраний повільний режим токенізатора.
3. Протестуйте vllm preload на стейджингу, перш ніж покладатися на нього у продакшені.

Більше з цієї теми є в хабі AI Agents & Infrastructure.

Джерела

• vLLM на GitHub: нотатки до релізу v0.31.0