#注意力头

检索头机制：Transformer 如何通过特定注意力头实现上下文信息检索

本文以企业知识库问答为场景，分析 Transformer 中检索头（Retrieval Heads）的机制：它们如何通过注意力模式从长上下文中提取信息，与普通注意力头的差异，以及如何通过头消融实验验证其功能。同时讨论在 RAG 和长上下文模型中的应用与局限性。