推理加速相关文章

自适应计算时间与早期退出：动态深度如何平衡大模型推理延迟与精度

在线问答服务中，不同问题难度差异巨大，固定层数推理浪费算力。本文解释自适应计算时间（ACT）与早期退出机制如何让模型按输入难度动态决定推理深度，对比固定深度推理，分析置信度阈值、层间分类器设计、训练策略及与批处理、KV Cache的兼容性，并讨论延迟、吞吐与精度的权衡及适用边界。

本文以在线大模型服务为场景，对比投机解码中独立小模型、Medusa/EAGLE 自推测架构与多模型投机三条草稿模型构建路线，分析训练成本、接受率、显存开销与加速比的权衡，并讨论低接受率与长序列下的失效边界及工程调优方法。

本文以在线大模型服务为场景，解释投机解码中拒绝采样如何保证输出分布与目标模型一致，分析接受率、草稿模型成本、验证批大小与加速比的关系，对比 Medusa、EAGLE 等变体，讨论低接受率或长序列下的失效边界与工程调优方法。

围绕长上下文 Decode 中持续增长的 KV Cache，解释 SnapKV 如何利用 Prompt 末尾观察窗口估计各 Attention Head 的关键历史位置，并分析按 Head 选择、局部聚合、显存与带宽收益、多轮 Agent 失效以及指令遵循风险。