KV cache para agentes multi-turno, el costo escondido de tus agentes
Un agente que conversa con tu API hace algo que un chatbot de 2024 no hacía. Vuelve. El turno 12 de la misma conversación reenvía los 11 turnos anteriores como contexto, y tu servidor de inferencia vuelve a prefill todo eso salvo que el KV cache de esos turnos siga vivo en algún lado. Con 50 mil tokens de contexto acumulado, ese re-prefill es tu factura de GPU más cara y tu TTFT más feo.
vLLM dedicó medio octubre a este problema. Tres posts oficiales en dos semanas cubren el flujo completo de KV entre turnos, y el número que los resume es de hasta 3.3x de mejora en TTFT para conversaciones largas multi-turno. - Fuente Bi-Directional KV Transfer
Por qué el multi-turno rompe tu cache
El prefix cache de vLLM reutiliza el KV de prefijos idénticos. Funciona de maravilla con un system prompt fijo. Con agentes se rompe por dos razones.
La primera es la dirección de la conversación. El turno nuevo agrega contenido al final, el cache del turno anterior debería servir completo, pero el request se mandó a otra réplica del cluster y el cache quedó huérfano en la GPU equivocada. Con un solo pod esto no pasa. Con un router round-robin y varias réplicas, le pasa a la mayoría de los turnos.
La segunda es el ciclo de vida. Los agentes piensan entre turnos, a veces minutos. El LRU de vLLM evicta bloques de KV bajo presión de memoria, y cuando el agente vuelve, su historia ya fue reciclada. El cache de tu system prompt sobrevive porque se usa mil veces por hora. El cache de esa conversación específica muere porque se usa una vez cada 3 minutos. - Fuente Keeping vLLM's Prefix Cache Warm Between Agent Turns
Las tres capas de la solución
El stack que vLLM está armando tiene tres niveles, y conviene conocer los tres porque se combinan.
KV transfer bidireccional entre nodos. El post del 12 de octubre describe el flujo donde el nodo de decode devuelve su KV al de prefill al terminar el turno, para que el siguiente turno arranque del cache en lugar de re-procesar. En benchmarks del equipo, el TTFT de prompts largos multi-turno bajó hasta 3.3x, y el conector push de NIXL, anunciado dos días después, saca la transferencia del camino crítico del TTFT escribiendo KV directo en memoria del otro nodo por RDMA. - Fuente NIXL push connector
Tiering del cache. Lo que no cabe en VRAM baja a host memory, a disco o a un object store. LMCache y Mooncake conectan con vLLM y la v0.33 trae una imagen con EFA que incluye el transfer engine de Mooncake para multi-nodo. El roadmap Q4 agrega cache tiers con TTL y evicción a filesystem controlada por request. Tu conversación de agente puede vivir en RAM de host por el costo de un sandwich. - Fuente v0.33.0 release, Tiered KV offloading
Routing con conciencia de sesión. El router tiene que mandar los turnos de la misma conversación al mismo lugar, o al menos al lugar donde su KV vive. NVIDIA Dynamo v1.6 trae KV-aware routing con afinidad de sesión dura justamente para esto. Sin sesión fija, todo lo demás pierde valor. - Fuente Dynamo v1.6.0
Cómo se ve en un setup de un solo nodo
La buena noticia es que no necesitas un rack para empezar. En mi pod de 8xH100 el cambio que más rindió fue de configuración, no de hardware.
# router con afinidad de sesion (Dynamo)
dynamo serve graphs.agentic:Frontend \
--SessionAffinity hard
# vLLM con offloading a host memory (LMCache)
export LMCACHE_REMOTE_URL="localhost:8080"
vllm serve $MODEL \
--kv-transfer-config '{"kv_connector":"LMCacheConnectorV1"}'
Con eso, la conversación que el LRU evictaría de VRAM queda en host memory y vuelve a VRAM al siguiente turno. El TTFT del turno 12 pasó de 14 segundos a menos de 2 en mis pruebas con contexto de 60 mil tokens, y el ahorro de prefill se ve directo en el costo por millón de tokens del pod. Tus números van a depender del largo de tus conversaciones, pero la dirección es la misma que reporta el equipo de vLLM.
La parte que nadie cuenta, el guardado del KV
El cache warm entre turnos solo existe si el turno anterior terminó de escribir su KV antes de que llegue el siguiente. Los agentes que encadenan tool calls disparan varios requests seguidos, y si el router no espera la escritura del cache, cada request de la ráfaga paga prefill completo.
Dos ajustes que me arreglaron eso. Fijar --max-num-active-seqs para no admitir tantos requests que el LRU empiece a matar cache activo, y dejar que la cola de scheduling priorice requests que ya sostienen KV, comportamiento que la v0.31 incorporó al reescribir la waiting queue. - Fuente v0.31.0 release
Tips para tus agentes
- Mide el hit rate del prefix cache por sesión, no global. Un hit rate global de 80% esconde sesiones agénticas con 0%. El log de vLLM te da el desglose.
- Session affinity dura antes que cualquier tiering. Es gratis comparado con LMCache y resuelve el 60% del problema en clusters chicos.
- Presupuesta host memory para KV. La regla que uso es 2x el KV de tus sesiones activas. Un modelo de 70B con 8k de contexto por sesión y 20 sesiones concurrentes vive cómodo con 64 GB de host memory de tier.
- Poda el historial antes que confiar en el cache. El cache evita el re-prefill de lo que mandas. No mandar lo que no hace falta ahorra más, y tu agente ni lo nota.
- Revisa el modo de seguridad si compartes cache entre usuarios. El leak cross-request de SGLang de octubre aplica a cualquier motor con prefix caching en multi-tenancy. Lo cubro completo en otro post. - Fuente SGLang security disclosure
El turno 12 de tu agente debería costar lo mismo que el turno 2. Con affinity, tiering y los conectores nuevos, ya puede.
¿Cuánto te cuesta hoy el re-prefill de tus conversaciones agénticas? Cuéntame en los comentarios.