KV Cache 管理策略对比：vLLM 的 PagedAttention 与 SGLang 的 RadixAttention
在线大模型服务中，KV Cache 的显存分配与复用直接决定吞吐与延迟。本文对比 vLLM 的 PagedAttention 与 SGLang 的 RadixAttention，解释块式分页、前缀树复用、驱逐策略与调度差异，并给出不同工作负载下的选型建议。
#vLLM
共 5 篇文章
连续批处理如何提升大模型吞吐：迭代级调度与延迟权衡
在线聊天服务中，静态批处理因输出长度差异导致GPU利用率低下。本文以聊天场景贯穿，解释连续批处理如何通过迭代级调度动态加入和完成请求，分析其对TTFT和TPOT的影响，并讨论最大批大小、队列策略等参数如何权衡吞吐与延迟，以及适用边界。
CUDA Graph 如何消除大模型推理中的 Kernel 启动开销
本文以在线大模型服务为场景，深入解析 CUDA Graph 通过捕获并重放 GPU Kernel 序列来减少 CPU 启动开销和内核间延迟的机制。文章分析了其与动态形状、批处理大小变化、PagedAttention 等技术的兼容性，讨论了捕获成本、内存占用和适用边界，并通过对比表格和流程图帮助读者理解何时使用 CUDA Graph 能获得显著收益。
约束解码如何保证大模型输出格式：从正则到文法约束的机制与工程权衡
本文以自动生成可解析的 JSON 和 SQL 为场景，解释约束解码如何在前向传播时屏蔽非法 Token，对比后处理修复与重试的失败模式，分析对生成质量、延迟和实现复杂度的影响，并给出适用边界。
AI 推理系列（十六）：PagedAttention——为什么 vLLM 能把 GPU 显存“像操作系统一样”管理？
围绕在线大模型服务中动态增长的 KV Cache，解释 PagedAttention 如何通过逻辑块、物理块和块表实现按需分配，并分析内部碎片、Copy-on-Write、Prefix Caching、Continuous Batching 及长上下文场景中的工程边界。