Grouped-Query Attention 如何压缩 KV Cache：MHA、MQA 与 GQA 的工程权衡
围绕长上下文在线推理中的 KV Cache 显存压力，解释 Grouped-Query Attention 如何让多组 Query Head 共享更少的 Key/Value Head，并分析它与 MHA、MQA、PagedAttention、FlashAttention 的边界、吞吐收益和质量权衡。
#Attention
共 2 篇文章
FlashAttention 如何用 IO 感知分块加速 Transformer 注意力计算
从 GPU 内存层级与 Attention 中间矩阵的数据流出发，解释 FlashAttention 如何通过分块计算、online softmax 和片上数据复用减少 HBM 读写，并分析 FlashAttention-2、长上下文训练、prefill 与逐 Token 解码中的实际收益和工程边界。