LLM相关文章

MCP Sampling 反向调用：工具服务端如何借用客户端的大模型生成摘要

远程 MCP Server 想在工具执行中生成摘要，却不愿自持 API Key，这时 sampling/createMessage 让服务端反向请求客户端模型补全。文章拆解请求参数、模型偏好映射、结果回传与拒绝路径，对比服务端自持密钥方案，并给出可观测指标与适用边界。

企业知识库问答里，模型对错误答案也可能给出很高的 token 概率。本文解释 logit 概率、预测熵与 token 级置信度为何把事实不确定性和措辞不确定性混在一起，分析校准、分布外输入与过度自信的关系，并对比采样一致性、语义熵与内部状态方法在延迟、成本和部署边界上的取舍。

本文以企业知识库问答为场景，解释 RAGAS 中上下文精度与上下文召回的计算原理，分析其如何借助 LLM 判断检索块与问题的相关性，对比其他指标，并讨论适用边界与实现成本，帮助读者在检索质量评估中做出合理选择。

本文以开放域问答为场景，解释对比解码（Contrastive Decoding）如何通过专家模型与业余模型的 logits 差异抑制退化重复，分析其与温度采样、top-p 的互补性，讨论计算开销、延迟影响及在长文本生成中的适用边界。

本文以在线大模型服务为场景，对比投机解码中独立小模型、Medusa/EAGLE 自推测架构与多模型投机三条草稿模型构建路线，分析训练成本、接受率、显存开销与加速比的权衡，并讨论低接受率与长序列下的失效边界及工程调优方法。

系统对比 DPO 与基于 PPO 的 RLHF 在实现复杂度、训练稳定性、计算开销及最终性能上的差异，聚焦 DPO 如何通过隐式奖励建模将对齐简化为分类损失，并从工程角度分析两种方案在在线服务场景中的关键权衡。