#大模型训练

激活检查点：如何用重计算换显存来训练更大模型？

训练大模型时显存常被中间激活占满，激活检查点通过丢弃部分激活并在反向传播时重计算来降低显存峰值。本文以长序列 Transformer 训练为贯穿场景，解释其原理、与梯度累积和混合精度的组合，分析重计算开销与适用边界，并给出决策表格与流程图。