投机解码中草稿模型的选择：从独立小模型到自推测架构的工程权衡
本文以在线大模型服务为场景，对比投机解码中独立小模型、Medusa/EAGLE 自推测架构与多模型投机三条草稿模型构建路线，分析训练成本、接受率、显存开销与加速比的权衡，并讨论低接受率与长序列下的失效边界及工程调优方法。
#投机解码
共 4 篇文章
投机解码中的拒绝采样：为什么接受率不是唯一决定加速比的因素
本文以在线大模型服务为场景，解释投机解码中拒绝采样如何保证输出分布与目标模型一致，分析接受率、草稿模型成本、验证批大小与加速比的关系，对比 Medusa、EAGLE 等变体，讨论低接受率或长序列下的失效边界与工程调优方法。
DeepSeek-V3 的多 Token 预测：额外预测头如何提升训练效率并支持投机解码
本文以训练 DeepSeek-V3 为场景，解析多 Token 预测（MTP）的机制：如何通过串行预测头让模型同时学习多个未来 token，共享嵌入与输出头以控制开销，并在推理时用于投机解码。文章对比 MTP 与单 Token 预测、并行多头方案，分析其样本效率、推理加速收益及实现复杂度。
Medusa 多头投机解码：通过并行候选头加速大模型推理
大模型自回归解码受限于顺序生成，每次只能输出一个 token，导致高延迟和低硬件利用率。Medusa 在原始模型上附加多个预测头，一次生成多个候选 token，并通过树状注意力并行验证，显著减少解码步骤。本文以在线聊天服务为场景，拆解其训练流程、树状注意力机制、典型接受方案，并与传统投机解码对比，分析候选接受率对加速比的影响及适用边界。