vLLM 0.31.0: precarga de pesos y cambios en kwargs

El proyecto vLLM publicó la versión 0.31.0 el 5 de octubre de 2026. Incluye 717 commits de 307 colaboradores, un nuevo comando vllm preload y decodificación especulativa con modelo borrador en Model Runner V2, además de un cambio incompatible motivado por seguridad. Si sirves modelos con vLLM, lee los cambios incompatibles antes de actualizar.

¿Qué cambió?

• La nueva CLI vllm preload lanza un demonio de caché de pesos que mantiene en memoria de la GPU los pesos ya cuantizados entre reinicios del motor.
• Model Runner V2 incorpora decodificación especulativa con modelo borrador y procesadores de logits personalizados.
• Los mm_processor_kwargs y media_io_kwargs por petición ahora devuelven un error, salvo que el servidor arranque con --trust-request-mm-kwargs. Las flags a nivel de servidor y el uso offline de LLM no cambian.
• Se elimina tokenizer_mode="slow", y --enable-mamba-fine-grained-prefix-cache se renombra a --enable-mamba-shared-prefix-checkpoint.
• Las notas de la versión listan un kernel fusionado de RoPE QK para KimiViT hasta 29 veces más rápido, y un espacio de trabajo de DeepGEMM FP8 reducido a la mitad.

¿Por qué importa?

El tiempo de reinicio es un coste real cuando ejecutas agentes contra un modelo propio: cada redespliegue significa recargar pesos. Un demonio de precarga ataca ese problema directamente. El cambio multimodal es el que hay que vigilar. Los clientes que envían kwargs de procesador por petición empezarán a fallar, y nos parece correcto rechazarlos por defecto en cualquier servidor expuesto más allá de tu propio equipo.

Qué hacer ahora

1. Busca en el código de tus clientes mm_processor_kwargs y media_io_kwargs. Pasa esos valores a flags de servidor, o añade --trust-request-mm-kwargs solo si controlas a todos los que llaman.
2. Busca en tus scripts de arranque la flag de Mamba renombrada y el modo de tokenizador lento eliminado.
3. Prueba vllm preload en un equipo de staging antes de depender de él en producción.

Más sobre este tema en el centro de Agentes de IA e Infraestructura.

Fuentes

• vLLM en GitHub: notas de la versión v0.31.0