#模型架构

Grouped-Query Attention 如何压缩 KV Cache：MHA、MQA 与 GQA 的工程权衡

围绕长上下文在线推理中的 KV Cache 显存压力，解释 Grouped-Query Attention 如何让多组 Query Head 共享更少的 Key/Value Head，并分析它与 MHA、MQA、PagedAttention、FlashAttention 的边界、吞吐收益和质量权衡。