WIBLOG · Technological & Life

聊技术,也聊那些值得认真琢磨的生活小事。

188篇文章6个内容分类
RECENT NOTES

最近更新

查看归档

自适应计算时间与早期退出:动态深度如何平衡大模型推理延迟与精度

在线问答服务中,不同问题难度差异巨大,固定层数推理浪费算力。本文解释自适应计算时间(ACT)与早期退出机制如何让模型按输入难度动态决定推理深度,对比固定深度推理,分析置信度阈值、层间分类器设计、训练策略及与批处理、KV Cache的兼容性,并讨论延迟、吞吐与精度的权衡及适用边界。

查看全部文章 ↗