AI 技术

面向开发者解析大模型、Agent、RAG、推理优化、评估体系与 AI 工程化实践。

3 篇文章

直接偏好优化与 RLHF 在大模型对齐中的实现与权衡

系统对比 DPO 与基于 PPO 的 RLHF 在实现复杂度、训练稳定性、计算开销及最终性能上的差异，聚焦 DPO 如何通过隐式奖励建模将对齐简化为分类损失，并从工程角度分析两种方案在在线服务场景中的关键权衡。

深入剖析 vLLM 如何利用 PagedAttention 分页管理 KV 缓存，结合连续批处理解决大模型在线推理的内存碎片与吞吐瓶颈，并与 FasterTransformer 等传统系统对比，探讨工程落地实践。

介绍 RAPTOR 方法如何通过递归嵌入、聚类与摘要构建多层树状索引，解决长文档检索中粒度过粗的问题，并与传统分块策略进行对比，讨论工程实现、成本权衡及局限性。