vLLM 并行采样的前缀 KV 共享:候选序列分叉后为何不会互相污染
从块表与引用计数两层解释 vLLM 并行采样如何共享同一份 prompt 前缀 KV:候选序列分叉后为何只写新块、共享前缀为何不会被后续 token 覆盖,以及论文报告的吞吐收益在哪些条件下成立、哪些实现细节资料尚未覆盖。
共 1 篇文章
从块表与引用计数两层解释 vLLM 并行采样如何共享同一份 prompt 前缀 KV:候选序列分叉后为何只写新块、共享前缀为何不会被后续 token 覆盖,以及论文报告的吞吐收益在哪些条件下成立、哪些实现细节资料尚未覆盖。