AI 推理系列(十三):EAGLE——为什么预测“下一个 Token”不如预测模型内部的“思维特征”?
围绕大模型逐 Token 解码的串行瓶颈,解释 EAGLE 为什么把 Draft 从离散 Token 预测转向目标模型隐藏 Feature 预测,并分析 Feature Uncertainty、候选验证、接受长度、Draft 成本、Batch 与在线服务中的真实加速边界。
共 1 篇文章
围绕大模型逐 Token 解码的串行瓶颈,解释 EAGLE 为什么把 Draft 从离散 Token 预测转向目标模型隐藏 Feature 预测,并分析 Feature Uncertainty、候选验证、接受长度、Draft 成本、Batch 与在线服务中的真实加速边界。