KV Cache 驱逐策略：从 LRU 到 H2O 的注意力感知淘汰机制
长上下文在线服务中，KV Cache 随序列增长迅速膨胀，成为显存与延迟瓶颈。本文以企业知识库问答为场景，对比 LRU、滑动窗口与 H2O 等驱逐策略，解释注意力感知淘汰为何更有效，分析其对生成质量、显存和延迟的影响，并讨论适用边界与实现复杂度。
AI
AI 技术
面向开发者解析大模型、Agent、RAG、推理优化、评估体系与 AI 工程化实践。
41 篇文章
约束解码如何保证大模型输出格式：从正则到文法约束的机制与工程权衡
本文以自动生成可解析的 JSON 和 SQL 为场景，解释约束解码如何在前向传播时屏蔽非法 Token，对比后处理修复与重试的失败模式，分析对生成质量、延迟和实现复杂度的影响，并给出适用边界。
Activation Beacon：用压缩激活值实现无限上下文流式推理
面对超长文档问答场景，本文解析 Activation Beacon 如何通过压缩历史 token 的激活值而非 KV Cache 实现无限上下文流式推理，对比 StreamingLLM 的注意力沉没方案，分析压缩率、信息保留与推理速度的权衡，并给出工程实现要点与失效边界。
大模型结构化输出：JSON Mode 与函数调用的机制、失败模式与工程选型
以自动生成业务报表为场景，解析大模型结构化输出的三种实现路径：仅提示词的 JSON 模式、约束解码（原生结构化输出）与函数调用，以及验证加重试的后处理方案。对比 OpenAI JSON Mode、函数调用与开源约束解码的差异，分析格式错误、内容截断、模式切换等失败模式，并给出工程选型与校验建议。
提示词缓存如何降低大模型 API 调用成本：Anthropic 与 OpenAI 的实现与失效条件
本文以企业批量调用大模型 API 为场景，解析提示词缓存如何通过复用前缀的 KV 状态减少重复预填充计算，并对比 Anthropic 与 OpenAI 的缓存机制、计费方式、命中条件与失效策略，讨论其对延迟、成本及数据隐私的影响，给出适用边界。
检索头机制：Transformer 如何通过特定注意力头实现上下文信息检索
本文以企业知识库问答为场景，分析 Transformer 中检索头（Retrieval Heads）的机制：它们如何通过注意力模式从长上下文中提取信息，与普通注意力头的差异，以及如何通过头消融实验验证其功能。同时讨论在 RAG 和长上下文模型中的应用与局限性。
滑动窗口注意力：局部窗口与全局缓存如何支撑长文本高效推理
以长文档摘要为场景，解析滑动窗口注意力如何通过限制注意力范围将计算复杂度从平方降为线性，并借助跨层信息传递与KV缓存轮转保留远距离信息。对比全局注意力与稀疏注意力，分析显存、延迟与质量权衡，以及窗口大小对困惑度的影响。
大模型文本水印：Kirchenbauer 方法的红绿列表偏置与检测可靠性
本文以识别 AI 生成文本为场景，深入解析 Kirchenbauer 水印方法：如何在生成时通过偏置 logits 嵌入信号，如何用统计检验检测，以及硬水印与软水印的差异。同时探讨低熵文本、翻译和改写攻击下的鲁棒性，帮助读者理解水印的适用边界与工程权衡。
AI 推理系列（十六）：PagedAttention——为什么 vLLM 能把 GPU 显存“像操作系统一样”管理？
围绕在线大模型服务中动态增长的 KV Cache，解释 PagedAttention 如何通过逻辑块、物理块和块表实现按需分配，并分析内部碎片、Copy-on-Write、Prefix Caching、Continuous Batching 及长上下文场景中的工程边界。
AI 推理系列（十八）：SnapKV——为什么模型真正关注的历史 Token，可能不到 10%？
围绕长上下文 Decode 中持续增长的 KV Cache，解释 SnapKV 如何利用 Prompt 末尾观察窗口估计各 Attention Head 的关键历史位置，并分析按 Head 选择、局部聚合、显存与带宽收益、多轮 Agent 失效以及指令遵循风险。
AI 推理系列（十七）：Hymba——为什么 Attention 和 Mamba 一定要二选一？
围绕小模型推理中的精确检索、固定状态与 KV Cache 成本，解释 Hymba 如何在同一层并行组合 Attention Head 与 SSM Head，并分析 Meta Token、跨层 KV 共享、部分滑动窗口、混合 Kernel 和端侧部署中的工程边界。
AI 推理系列（十五）：TokenFormer——如果模型参数也是 Token，会发生什么？
围绕大模型每次扩容都要重新训练的成本，解释 TokenFormer 如何用 Token-Parameter Attention 将部分固定矩阵计算改写为可查询的 Parameter Tokens，并分析渐进扩容、参数复用、训练稳定性、推理开销与工程生态边界。
AI 推理系列（十四）：Mamba 的 Selective State Space——不用 Attention，模型如何“记住”长序列？
从长日志流和持续生成场景出发，解释 Mamba 如何用输入相关的选择性状态更新替代持续增长的 KV Cache，分析 Selective Scan、Mamba-2 的 SSD、Mamba-3 的状态表达能力，以及线性复杂度在 GPU 与真实推理系统中的收益边界。
Graph RAG 如何通过知识图谱增强大模型的多跳推理与事实一致性
本文以医疗问答为场景，解析 Graph RAG 如何通过知识图谱的结构化信息解决传统 RAG 在多跳问答中的推理断裂与幻觉问题。内容涵盖图构建、实体链接、图检索与推理路径生成，对比向量检索与 Text-to-Cypher，并讨论索引更新、查询延迟与领域迁移的工程权衡。
上下文文档嵌入：Anthropic 的上下文检索如何提升 RAG 检索相关性
本文以法律文档检索为场景，分析 Anthropic 提出的上下文检索（Contextual Retrieval）如何通过为每个文本块生成包含文档上下文的嵌入来改善检索相关性，对比传统分块嵌入，讨论预处理成本与延迟。
Gorilla 的文档感知微调：如何让语言模型准确调用 API 并降低幻觉
本文以自动调用云 API 为场景，解析 Gorilla 如何利用 API 文档进行微调，生成正确的调用语法，对比 Toolformer 的自监督方法，讨论幻觉、API 变更适应性与检索增强的集成。
多向量检索：ColBERT 的迟交互机制如何平衡检索精度与索引成本
在企业知识库等细粒度文档检索场景中，单向量模型常因信息压缩而遗漏细节，交叉编码器虽精确却计算昂贵。本文以 ColBERT 的迟交互机制为核心，解释其如何通过 token 级向量匹配提升精度，并对比单向量与交叉编码器的延迟和存储开销，同时讨论索引压缩与近似搜索的工程权衡。
自一致性采样：通过多条思维链投票提升大模型推理可靠性
大模型在数学问题求解中单次贪心解码容易因一步推理偏差导致最终答案错误。本文以数学问题为场景，分析自一致性如何通过采样多条思维链并投票选择最一致答案来缓解这一问题，并讨论采样温度、样本数量与计算开销之间的权衡。
AI 推理系列（十三）：EAGLE——为什么预测“下一个 Token”不如预测模型内部的“思维特征”？
围绕大模型逐 Token 解码的串行瓶颈，解释 EAGLE 为什么把 Draft 从离散 Token 预测转向目标模型隐藏 Feature 预测，并分析 Feature Uncertainty、候选验证、接受长度、Draft 成本、Batch 与在线服务中的真实加速边界。
AI 推理系列（十二）：Attention Sink——为什么删除最早几个 Token，会让大模型突然“失忆”？
围绕长期 Agent 与流式推理中 KV Cache 持续增长的问题，解释 Attention Sink 为何使纯滑动窗口在删除初始 Token 后出现质量退化，以及 StreamingLLM 如何保留少量 Sink Token 与最近窗口，在固定缓存预算下持续处理数据流，并分析它与真正长上下文和长期记忆的边界。
AI 推理系列（十一）：Ring Attention 如何让多张 GPU 共同计算一条超长序列
围绕百万 Token 长上下文的单卡容量瓶颈，解释 Ring Attention 如何沿序列维度切分 Q/K/V，让 KV Block 在多张 GPU 间环形流动并与本地计算重叠，同时分析 online softmax、Context Parallelism、Ulysses、GQA 与跨节点网络带宽之间的工程权衡。
Medusa 多头投机解码：通过并行候选头加速大模型推理
大模型自回归解码受限于顺序生成，每次只能输出一个 token，导致高延迟和低硬件利用率。Medusa 在原始模型上附加多个预测头，一次生成多个候选 token，并通过树状注意力并行验证，显著减少解码步骤。本文以在线聊天服务为场景，拆解其训练流程、树状注意力机制、典型接受方案，并与传统投机解码对比，分析候选接受率对加速比的影响及适用边界。
LLM-as-Judge 评估偏差：位置偏见与冗长偏好如何影响大模型评判可靠性
在自动评估问答质量时，用大模型当裁判会引入位置偏见和冗长偏好，导致评分随答案顺序或长度变化，扭曲模型对比结果。本文以企业知识库问答评估为场景，剖析这两种偏差的成因，对比交换位置、校准评分等缓解策略，并讨论它们对排行榜和迭代决策的误导风险。
AI 推理系列（十）：MLA 如何用低秩压缩重构 KV Cache：从 DeepSeek-V2 到 FlashMLA
围绕长上下文推理中的 KV Cache 容量与带宽瓶颈，解释 Multi-head Latent Attention 如何通过低秩 KV 联合压缩只缓存潜在表示，并分析 Decoupled RoPE、GQA/量化差异、Kernel 融合以及训练与推理路径中的工程权衡。
AI 推理系列（九）：Chunked Prefill 如何避免长 Prompt 阻塞在线大模型服务
解释长 Prompt Prefill 如何阻塞在线 Decode，以及 Chunked Prefill 如何通过分块和混合调度改善流式延迟，并分析 Chunk Size、Token Budget、TTFT、TPOT、Goodput 与 Prefill-Decode 分离之间的工程取舍。
AI 推理系列（八）：Prefix Caching 如何减少 Agent 重复 Prefill：从 KV 复用到 RadixAttention
围绕 Agent、RAG 与多轮对话中反复出现的长 System Prompt、工具定义和历史前缀，解释 Prefix Caching 如何复用已计算的 KV Cache，分析 vLLM Block Hash、SGLang RadixAttention、缓存淘汰、多级存储及命中率对 TTFT 与吞吐的影响。
AI 推理系列（七）：Mixture-of-Depths：让不同 Token 获得不同 Transformer 计算深度
围绕在线大模型推理中的固定深度计算开销，解释 Mixture-of-Depths 如何用固定容量路由让部分 Token 跳过 Transformer Block，并分析它与 MoE、Early Exit、KV Cache、Gather/Scatter 和 GPU 规则计算之间的工程权衡。
AI 推理系列（六）：RoPE 如何编码 Token 距离：从旋转位置到长上下文扩展
从 Self-Attention 不具备天然顺序感这一问题出发，解释 RoPE 如何通过旋转 Query 和 Key 注入位置关系，并梳理 Position Interpolation、YaRN、LongRoPE 等上下文扩展方法的机制、工程边界与长文本系统中的真实瓶颈。
工具调用代理的错误恢复：从重试、回退到人工干预的工程策略
当 LLM Agent 调用外部 API 失败时，简单的重试往往不够。本文以旅行预订助手为场景，分析 API 异常、参数错误和超时等故障模式，对比 ReAct 的自我修正、Toolformer 的过滤机制与基于规则的恢复，讨论重试次数、回退策略与人工介入的工程实现，帮助开发者在自动化与可靠性之间做出权衡。
重排序模型在 RAG 中的精度-延迟权衡：交叉编码器与双编码器的对比
本文聚焦 RAG 检索后重排序阶段，以多路召回融合为场景，对比交叉编码器（如 BGE-reranker）与双编码器在精度和延迟上的差异。通过分析级联架构、模型蒸馏与批处理优化，解释重排序如何缓解“中间丢失”问题，帮助读者在工程实践中做出权衡。
自动规划工具使用：从 ReAct 到 Toolformer 的工程演进
大模型调用外部工具时，如何自动解析 API 文档、生成动作序列并处理错误？本文以企业客服查询系统为贯穿场景，对比 ReAct 的推理-行动交织与 Toolformer 的自监督工具学习，剖析二者在复杂 API 场景下的规划策略、鲁棒工具选择与执行验证方案，并给出工程权衡与常见失败模式。
大模型幻觉自动评估：TruthfulQA 与 HaluEval 的机理、指标与工程权衡
聚焦 TruthfulQA 与 HaluEval 两个代表性基准，解析它们在设计机理、评估指标和生成式模型对抗性评估上的异同。文章以企业知识库问答为贯穿场景，讨论指标效度、跨领域泛化不足等挑战，并探索结合人工评估与自动评估的工程实践，帮助读者理解幻觉评估的适用边界与部署决策。
AI 推理系列（五）：MoE 专家路由如何实现稀疏激活：从 Router 到专家并行的工程权衡
围绕大规模 MoE 模型的专家路由机制，解释 Token 如何通过 Top-K Router 只激活少量专家，并分析负载均衡、Shared Expert、Expert Parallelism、All-to-All 通信以及真实推理流量下的热点与部署边界。
LLaVA 视觉指令微调：从投影层对齐到多模态幻觉缓解
以 LLaVA 为例，深入分析视觉指令微调如何通过两阶段训练将视觉编码器与语言模型对齐，覆盖投影层设计、数据构造与端到端微调，并讨论多模态幻觉的成因与缓解手段，为实际部署提供工程权衡。
AI 推理系列（四）：KV Cache 量化如何压缩长上下文推理：从 KIVI 到混合精度缓存
围绕长上下文和高并发推理中的显存瓶颈，解释 KV Cache 量化为何需要区别处理 Key 与 Value，分析 KIVI、KVQuant 等方案的量化粒度、离群值处理与运行时开销，并讨论它与 GQA、PagedAttention、Prefix Caching 的组合边界。
AI 推理系列（三）：Grouped-Query Attention 如何压缩 KV Cache：MHA、MQA 与 GQA 的工程权衡
围绕长上下文在线推理中的 KV Cache 显存压力，解释 Grouped-Query Attention 如何让多组 Query Head 共享更少的 Key/Value Head，并分析它与 MHA、MQA、PagedAttention、FlashAttention 的边界、吞吐收益和质量权衡。
AI 推理系列（二）：FlashAttention 如何用 IO 感知分块加速 Transformer 注意力计算
从 GPU 内存层级与 Attention 中间矩阵的数据流出发，解释 FlashAttention 如何通过分块计算、online softmax 和片上数据复用减少 HBM 读写，并分析 FlashAttention-2、长上下文训练、prefill 与逐 Token 解码中的实际收益和工程边界。
AI 推理系列（一）：Speculative Decoding 如何加速大模型推理：从候选生成到并行验证
围绕在线大模型服务的逐 Token 生成瓶颈，解释 Speculative Decoding 如何用低成本候选生成配合目标模型并行验证减少串行解码轮次，并分析接受率、Draft 成本、KV Cache、连续批处理、Medusa 与 EAGLE 等工程权衡。
过程监督如何提升大模型数学推理：从 PRM800K 到自动化的实践与挑战
本文以 OpenAI 的 Let's Verify Step by Step 为切入点，剖析过程监督相比结果监督在数学推理中的优势。重点讨论过程奖励模型训练数据的构建、步骤级人工标注的成本与自动化替代方案（如 Math-Shepherd），以及在 Lean 等形式化验证环境中的应用潜力和挑战。
直接偏好优化与 RLHF 在大模型对齐中的实现与权衡
系统对比 DPO 与基于 PPO 的 RLHF 在实现复杂度、训练稳定性、计算开销及最终性能上的差异，聚焦 DPO 如何通过隐式奖励建模将对齐简化为分类损失，并从工程角度分析两种方案在在线服务场景中的关键权衡。
RAPTOR：基于递归摘要的树状索引增强检索
介绍 RAPTOR 方法如何通过递归嵌入、聚类与摘要构建多层树状索引，解决长文档检索中粒度过粗的问题，并与传统分块策略进行对比，讨论工程实现、成本权衡及局限性。