#早期退出

自适应计算时间与早期退出：动态深度如何平衡大模型推理延迟与精度

在线问答服务中，不同问题难度差异巨大，固定层数推理浪费算力。本文解释自适应计算时间（ACT）与早期退出机制如何让模型按输入难度动态决定推理深度，对比固定深度推理，分析置信度阈值、层间分类器设计、训练策略及与批处理、KV Cache的兼容性，并讨论延迟、吞吐与精度的权衡及适用边界。