#Tree Attention

投机解码的树状注意力验证：一次前向如何并行校验多条候选路径

在线大模型服务中，投机解码的树状候选如何借助自定义注意力掩码在一次前向里并行校验多条路径。文章解释掩码构造、KV Cache 布局、接受长度与验证批大小的关系，对比线性链式验证，并给出低接受率下的失效边界与可观测指标。