KV Cache 驱逐策略：H2O 如何通过注意力分数识别重要 Token 并压缩缓存
长上下文在线服务中，KV Cache 随序列长度线性增长，成为显存瓶颈。本文聚焦 H2O 方法，解释其如何基于注意力分数识别 Heavy Hitter Token 并动态驱逐低价值 KV 对，对比 LRU、StreamingLLM 等策略，分析对生成质量、显存与延迟的影响，并讨论适用边界与实现复杂度。
#H2O
共 2 篇文章
KV Cache 驱逐策略：从 LRU 到 H2O 的注意力感知淘汰机制
长上下文在线服务中，KV Cache 随序列增长迅速膨胀，成为显存与延迟瓶颈。本文以企业知识库问答为场景，对比 LRU、滑动窗口与 H2O 等驱逐策略，解释注意力感知淘汰为何更有效，分析其对生成质量、显存和延迟的影响，并讨论适用边界与实现复杂度。