vLLM vs SGLang en una H100 alquilada, el benchmark que nadie publica
Todos los números impresionantes de inferencia vienen de racks que nadie alquila. GB300 NVL72, Vera Rubin, AgentX. Mientras tanto, la pregunta real de quien alquila una H100 por hora sigue sin respuesta documentada. ¿vLLM o SGLang?
Los dos equipos publican benchmarks propios y ganan siempre. El blog de vLLM reportó 954K tokens/s por GPU sirviendo DeepSeek-V4.1-Flash con P/D disaggregation en un GB300 NVL72, a un 6% del motor propio de DeepSeek. El blog de SGLang respondió con su serie de kernels, pasando de 35 a 873 tokens/s en decode single-stream del mismo modelo. Los dos tienen razón en su contexto. Ninguno de los dos te dice qué instalar en tu pod de 8xH100 esta noche.
Este post no te da mi número. Te da el método para obtener el tuyo, el contexto de los números publicados y las decisiones que sí puedes tomar hoy. - Fuente DeepSeek-V4.1-Flash P/D + Wide-EP en vLLM, SGLang kernel optimization
Lo que dicen los números publicados
Antes de medir, vale conocer qué afirma cada equipo, con fecha y contexto.
vLLM, octubre de 2026. 5x throughput agéntico en DeepSeek-V4.1-Flash tres semanas después del lanzamiento del modelo, y 7.8x por GPU en Rubin NVL72 contra GB200 NVL72. El dato más honesto para tu escala es el de costo, 14.6x a 106x más barato que Claude Opus 5 sirviendo AgentX, aunque medido en su hardware. - Fuente vLLM x AgentX, Vera Rubin preview
SGLang, septiembre y octubre de 2026. 873 tokens/s single-stream en DeepSeek-V4.1-Flash después de optimizar kernels, PD disaggregation con 27% más throughput y la mitad del p95 TTFT en prompts largos, y megakernels de baja latencia con hasta 44% de decode más rápido por usuario en GB300. - Fuente SGLang v0.5.22, v0.5.23
La advertencia que ningún post dice en voz alta. No existe, hasta la fecha, un benchmark independiente que compare los dos motores en el mismo hardware con el mismo modelo y el mismo harness. Artificial Analysis mide providers, no motores en tu GPU. Todos los demás números son self-reported por el equipo que tiene algo que ganar.
El harness mínimo honesto
Un benchmark vale lo que valga su reproducibilidad. Este es el setup que uso, el mismo enfoque de mi guía de medición de vLLM, aplicado a comparar dos motores.
Pin de versiones. Al día de hoy, vLLM v0.33.0 y SGLang v0.5.23. Los dos movieron cosas grandes en octubre, MRV2 como default y kernels nuevos, así que comparar versiones viejas es medir el pasado. - Fuente vLLM releases, SGLang releases
# benchmark-h100.sh — pin de imagenes, mismo modelo, mismo hardware
export MODEL="Qwen/Qwen3.5-397B-A17B-FP8" # el que vayas a servir de verdad
export IMG_VLLM="vllm/vllm:v0.33.0"
export IMG_SGLANG="lmsysorg/sglang:v0.5.23"
echo "corre los dos contenedores con los mismos limites de GPU"
Un modelo que realmente sirvas, con checkpoints cuantizados equivalentes. Comparar vLLM con FP8 nativo contra SGLang con AWQ mide la cuantización, no el motor.
Las tres métricas que importan. Las mismas que ya usamos para medir vLLM solo. TTFT percentil 90, tokens de salida por segundo por usuario en el percentil 50, y throughput agregado a concurrencia objetivo. Un promedio sin percentiles es marketing.
# vLLM trae su propio bench ahora
vllm bench serve --model $MODEL --percentile-metrics ttft,tpot,itl \
--num-prompts 200 --random-input-len 2048 --random-output-len 512
# SGLang equivalentes con su benchmark
python -m sglang.bench_serving --backend sglang --model $MODEL \
--num-prompts 200 --random-input 2048 --random-output 512
Ojo con un detalle que arruina comparaciones. Los benches default de cada motor traen presets distintos de concurrencia, warmup y sampling. Fija tú los parámetros, corre el mismo trabajo contra los dos endpoints OpenAI-compatibles, y descarta los primeros runs de warmup.
El trabajo de carga tiene que parecerse a tu tráfico. Si tus usuarios mandan 200 tokens y leen 800, el benchmark de 4K de input te miente. Los workloads agénticos, prompts largos y salidas cortas, invierten el resultado respecto a chat tradicional. El paper de cold starts y el post de AgentX existen precisamente porque ese patrón cambió el juego.
Qué esperar según el hardware
Con H100 y H200, FP8 en pesos y FP8 en KV cache es la receta base en vLLM, y el estudio de TurboQuant concluyó que 4-bit en KV es situacional, no default. Si alquilas Blackwell, B200 o B300, NVFP4 entra en la conversación con checkpoints day-0 de Mistral Large 4 y Qwen3.8. En la práctica, el motor que soporte mejor tu dtype de KV en tu arquitectura específica se lleva la ronda, y eso cambia por modelo. - Fuente TurboQuant KV study, FP8 KV cache
El otro factor real es el ecosistema de features. vLLM trae /v1/decisions, token embeddings con late chunking y un API server concurrente con --api-server-count que suma 43 a 85% de requests/s en requests cortos. SGLang responde con PD disaggregation que cambia roles en caliente sin restart y HiCache con hasta 15.5x de input throughput en tiering de KV. Ninguno gana en todo, y tu workload decide cuál feature paga la renta. - Fuente vLLM v0.33.0 release, SGLang v0.5.21
Señales para decidir sin benchmark propio
Si hoy no puedes pagar las horas de GPU del benchmark, estas son las señales que sí puedes leer de antemano.
Modelo con drafter oficial o MTP. El ecosistema speculative decoding de vLLM, EAGLE, DFlash, DSpark y MTP, está más integrado, y el fix de presupuesto de draft slots de la v0.33 disparó DeepSeek-V4.1-Flash de 1373 a 3390 tokens/s de salida en GB300. Si tu modelo trae drafter, empieza por vLLM. - Fuente v0.33.0 release notes
Multi-turno largo con KV cache compartido. SGLang lleva ventaja en tiering de KV y cambió roles de prefill y decode sin restart en v0.5.21. Si tu producto son agentes con conversaciones kilométricas, ese conjunto pesa. - Fuente SGLang v0.5.21
Herramientas estructuradas con parsers raros. El parser genérico hf de vLLM lee el response_template del checkpoint y elimina parsers por modelo. Si tus tool calls se rompían por parser, ese problema cambió de tamaño en v0.32. - Fuente v0.32.0 release
AMD en el mix. vLLM mantiene el pipeline ROCm más completo, y el benchmark de Kimi K3 en MI355X igualó por GPU al HGX B300 de NVIDIA. Si tu proveedor tiene MI325X o MI355X más baratas, ese cálculo cambió este trimestre. - Fuente Kimi K3 en MI355X
Tips para cuando corras el tuyo
- Pin de imagen y pin de dtype. Guarda en el repo el tag del contenedor, el commit del modelo y los flags exactos. Un benchmark sin eso es una anécdota.
- Warmup descartado, tres runs, mediana. Los primeros batches paguen compilación y autotuning. Publica la mediana y el p90, nunca la mejor corrida.
- Mismo sampler en los dos motores. temperature, top_p y max_tokens idénticos. El sampling afecta la longitud de salida y con ella el throughput.
- Presupuesto de GPU por hora, resultado por dólar. El motor 15% más rápido que consume 40% más VRAM te cierra la puerta a mayor batch. Mide el costo por millón de tokens servidos.
- Publica tu harness. El gap del ecosistema es de reproducibilidad. Un repo con tu script vale más que tu número.
Mi pronóstico honesto es que en H100 con modelos FP8 vas a encontrar diferencias de dos dígitos y no de órdenes de magnitud, con un ganador que depende del patrón de tráfico. Cuando corra mi serie completa en 8xH100 la publico aquí, con el harness en el repo.
¿Tú con cuál motor estás sirviendo hoy, y qué te hizo elegirlo? Cuéntame en los comentarios.