#推理优化

AI 推理系列（七）：Mixture-of-Depths：让不同 Token 获得不同 Transformer 计算深度

围绕在线大模型推理中的固定深度计算开销，解释 Mixture-of-Depths 如何用固定容量路由让部分 Token 跳过 Transformer Block，并分析它与 MoE、Early Exit、KV Cache、Gather/Scatter 和 GPU 规则计算之间的工程权衡。