AWS Machine Learning Blog· Sunita Nadampalli·· 2 天前精选AI 评分63
vLLM 推送式 KV 传输机制解析：TTFT 提升 3 倍、TPOT 提升 30%
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI 导读
vLLM 引入基于推送（push）的 NIXL KV 连接器，将解码端设置从关键路径移至预填充阶段的背景线程执行，消除了拉取模式下预填充后需等待路由协调和块分配的序列化开销。
推荐理由
提供了具体 benchmark 数据（3 倍 TTFT 提升、30% TPOT 提升）和实现原理，读者可据此判断是否需要将现有 pull 模式迁移到 push 模式。
来源：AWS Machine Learning Blog · aws.amazon.com