一个被顺序左右的评分结果
假设你负责评估两个问答模型：模型 A 和模型 B。你让一个强 LLM（比如 GPT-4）作为裁判，对同一问题分别给出两个模型的回答，并判断哪个更好。第一次，你把 A 的回答放在前面，B 的回答放在后面，裁判认为 A 更好。第二次，你把两者的顺序交换，裁判却认为 B 更好。两个回答的内容一字未改，唯一变化的是它们在提示词中的出现顺序。
这不是假设。2023 年的一项研究发现，仅通过改变候选回答的出现顺序，就可以让 Vicuna-13B 在 80 个测试问题中的 66 个上击败 ChatGPT（以 ChatGPT 作为裁判）。这个结果意味着，评估分数可能不是模型质量的真实反映，而是提示词中顺序的产物。
这种系统性偏差被称为位置偏见（position bias）。它并非随机噪声，而是 LLM 作为裁判时的一种固有倾向：在成对比较中，模型往往偏好第一个或第二个选项，具体偏好方向因模型和任务而异。当两个候选回答质量接近时，位置偏见的影响尤为明显——而这恰恰是评估系统最需要裁判做出精细区分的时候。
位置偏见从何而来
要理解位置偏见，需要先了解 LLM 如何处理输入序列。LLM 基于 Transformer 架构，通过自注意力机制处理输入。在自注意力中，每个 token 都会与其他所有 token 计算关联权重，但位置编码（positional encoding）会为每个位置注入顺序信息。虽然现代模型（如 GPT-4）使用旋转位置编码（RoPE）等方式，但位置信息仍然会影响注意力的分布。
工程上通常认为，当两个候选回答在语义上相似时，模型可能依赖位置作为区分线索。这类似于人类在难以抉择时倾向于选择第一个选项——但 LLM 的机制并非简单的“锚定效应”，而是与训练数据密切相关。
训练数据中，模型见过大量“指令-回答”对，其中回答的顺序往往反映了某种隐含的优先级。例如，在 RLHF 训练中，人类标注者可能更倾向于选择列表中的第一个回答（因为展示顺序影响了他们的判断），这种人类偏见被编码进了模型的偏好中。此外，模型在预训练阶段接触的文本中，重要信息往往出现在开头，这可能强化了模型对早期位置的关注。
位置偏见的实证表现
位置偏见并非理论推测，而是有大量实证支撑。2024 年一项针对六个 LLM 裁判和 22 个任务的研究发现，位置偏见在不同裁判之间差异显著，且当候选回答质量差距较小时最为明显。另一项对 LLM-as-judge 偏见进行编目的框架列举了十二个不同的类别，其中位置偏见、长度偏见和格式偏见是生产环境中最致命的三种。
一个直观的测量方法是“顺序不对称性”：对于每个成对比较，运行两次——A 在前 B 在后，以及 B 在前 A 在后。如果两次结果一致，说明判断稳定；如果不一致，说明顺序影响了结果。在势均力敌的对比中，交换位置后 20%～40% 的裁决会发生翻转。这意味着，高达 40% 的“获胜”可能只是排序产生的假象。
这种偏差对模型迭代决策有严重误导。一个团队可能基于 LLM-as-judge 的分数来调整提示词或模型参数。如果分数被位置偏见污染，团队可能认为某个改动提升了质量，而实际上只是改变了回答在评估提示词中的顺序。更隐蔽的是，当团队优化提示词以迎合裁判的偏好时，他们可能在“逆向工程”裁判的偏见，而非真正提升模型能力。
缓解策略：从交换位置到校准评分
针对位置偏见，研究者提出了多种缓解策略。这些策略在成本、效果和适用场景上各有权衡。
交换位置（Position Swapping）
最直接的方法是交换两个候选回答的位置，各评一次，然后取平均或只保留两次一致的裁决。这种方法简单有效，但成本翻倍，且如果两次结果不一致，需要决定如何处理。一种做法是丢弃不一致的样本，但这会减少有效样本量；另一种做法是取两次评分的平均值，但这可能掩盖真实的差异。
多次采样（Multiple Sampling）
另一种策略是让裁判对同一对回答进行多次独立采样（例如使用不同的随机种子），然后汇总结果。这可以降低单次评分的随机性，但无法消除系统性的位置偏好。如果模型始终偏好第一个位置，多次采样只会得到一致的偏见结果。
校准评分（Calibration）
更复杂的校准框架由 Wang 等人提出，包含三种策略：
- 多证据校准（Multiple Evidence Calibration）：要求裁判在给出评分前，先生成多条评估证据（例如列出每个回答的优点和缺点），再基于证据进行评分。这迫使裁判进行更细致的分析，减少对位置的依赖。
- 平衡位置校准（Balanced Position Calibration）：在不同顺序下运行多次评估，然后聚合结果。这与交换位置类似，但更系统化。
- 人在回路校准（Human-in-the-Loop Calibration）：引入一个“平衡位置多样性熵”来衡量每个例子的难度。当熵较高（即不同顺序下结果不一致）时，请求人类帮助。
这些方法在论文中显示能有效缓解评估偏差，使结果更接近人类判断。
分解评分标准（Decomposed Rubric）
除了上述针对位置的策略，另一种思路是改变评分方式本身。将单一的整体评分（如“有用性 1-10 分”）分解为多个维度（如事实准确性、指令遵循、语气、格式等），分别评分。这可以避免位置偏见混合在整体分数中，使偏差更容易被识别和调试。
跨模型集成（Cross-Model Ensemble）
使用多个不同家族的裁判模型（如 GPT-4、Claude、Gemini）进行评分，并采用多数投票或要求 2/3 一致。不同模型的训练分布不同，位置偏好可能相互抵消。但成本是裁判支出的三倍，通常只用于发布前的关键评估。
评估偏差对模型迭代的误导
位置偏见不仅影响单次评估的准确性，更危险的是它可能扭曲整个模型迭代过程。
想象一个团队正在优化一个问答系统的提示词。他们使用 LLM-as-judge 作为评估指标，每周运行一次评估。第一周，他们修改提示词，使回答更详细，分数从 78% 升至 85%。第二周，他们调整格式，加入更多列表，分数升至 91%。团队认为他们在稳步改进，但用户反馈却显示产品变差了。
问题在于，这些分数提升可能并非来自质量提升，而是来自裁判的偏见。更长的回答、更格式化的回答，往往得分更高，即使它们并不更好。团队实际上是在对裁判的偏见进行逆向工程，而非真正改进模型。
这种误导在缺乏审计时尤为严重。如果团队从未对照人类评估验证过裁判，他们可能长期在错误的方向上优化。正如一篇博客文章所指出的：“如果你在十二个月前接入了一个 LLM 评委，且从未针对人类进行重新验证，那么你的分数就不是质量信号——它们衡量的是你的提示词学会如何操纵其评估器的程度。”
审计与校准：让评估保持诚实
要避免位置偏见的误导，需要定期审计评估系统。
位置交换对照
对于每个成对比较，运行两次（A 在前 B 在后，以及 B 在前 A 在后）。丢弃两次结果不一致的裁决，保留一致的。丢弃比例就是位置偏见率。如果偏见率超过 20%，说明位置是显著的混杂变量。
长度控制对
长度偏见与位置偏见常同时存在。为了分离两者，可以生成长度匹配的变体：将较长的回答截断到较短回答的 token 数量，或用中性填充词扩展较短的回答。重新运行裁判，观察裁决是否翻转。如果翻转比例超过 10%，说明长度是显著的混杂变量。
格式剥离比较
通过 Markdown 清除规范化器处理每个候选回答，移除标题、列表、加粗等格式，只保留纯文本。重新运行裁判，比较格式化与去格式化版本的分值差。如果差值大，说明裁判在奖励形式而非实质。
预留人类偏好面板
建立一个由 200～500 个示例组成的固定面板，由人工手动评分，并定期用当前裁判对面板进行评分，计算一致性率。一致性趋势线就是裁判健康指标。如果一致性低于 70%，说明裁判的评分可能不可靠。
一个贯穿场景：问答系统评估流水线
让我们将这些概念应用到具体场景：一个团队正在开发一个企业知识库问答系统，他们使用 LLM-as-judge 来评估不同提示词版本的效果。
评估流程如下：
- 从真实用户问题中采样 100 个问题。
- 对每个问题，用当前提示词（版本 V1）和候选提示词（版本 V2）分别生成回答。
- 使用 LLM-as-judge 对每对回答进行成对比较，判断哪个更好。
- 统计 V2 的胜率，如果高于 50%，则认为 V2 更好。
然而，这个流程存在位置偏见风险。如果 V2 的回答总是被放在第一个位置，而裁判有第一个位置偏好，那么 V2 的胜率会被高估。
为了缓解，团队采用交换位置策略：对每对回答，运行两次评估，顺序相反，然后只保留两次结果一致的裁决。
下图展示了这个评估流程：
flowchart TD
A[采样用户问题] --> B[生成V1和V2回答]
B --> C[顺序1: V1在前V2在后]
B --> D[顺序2: V2在前V1在后]
C --> E[Judge评分1]
D --> F[Judge评分2]
E --> G{两次结果一致?}
F --> G
G -->|是| H[保留裁决]
G -->|否| I[丢弃该样本]
H --> J[计算V2胜率]
I --> J
J --> K[决定是否采用V2]
在这个流程中，关键转折点是“两次结果一致”的判断。如果两次结果不一致，说明位置影响了裁判，该样本无法提供可靠信号，因此被丢弃。这虽然减少了样本量，但提高了信号质量。
团队还应该定期进行校准审计。例如，每季度从评估集中随机抽取 50 个样本，用人类评估者重新评分，计算与裁判的一致性。如果一致性下降，可能表明裁判模型更新或评估集分布偏移。
权衡与适用边界
不同的缓解策略有不同的成本与效果。下表总结了常见策略的权衡：
| 策略 | 成本 | 效果 | 适用场景 |
|---|---|---|---|
| 交换位置 | 裁判调用翻倍 | 消除位置偏见，但丢弃不一致样本 | 成对比较，样本量充足时 |
| 多次采样 | 增加采样次数 | 降低随机噪声，但不消除系统性位置偏好 | 点分制评分，需要稳定分数时 |
| 多证据校准 | 提示词更长，推理成本增加 | 迫使裁判深入分析，减少位置依赖 | 对准确性要求高，且预算充足时 |
| 人在回路校准 | 需要人类参与 | 对困难样本提供可靠判断 | 当自动评估无法区分时 |
| 分解评分标准 | 多次评分，成本增加 | 分离偏差维度，提高可调试性 | 需要诊断具体偏差时 |
| 跨模型集成 | 成本约为三倍 | 消除单模型风格偏差 | 发布前关键评估 |
这些策略并非互斥，可以组合使用。例如，先使用交换位置，再对不一致的样本引入人类判断。
然而，所有策略都有适用边界。交换位置假设位置偏见是主要偏差，但长度偏见和格式偏见可能仍然存在。多次采样无法消除系统性偏好。分解评分标准需要设计合理的维度，否则可能引入新的偏差。跨模型集成需要多个模型的 API 访问权限，且不同模型的评分标准可能不一致。
此外，即使采用了缓解策略，LLM-as-judge 仍然无法完全替代人类评估。当任务涉及高度主观的判断（如幽默感、创造性）时，LLM 裁判可能无法准确反映人类偏好。因此，在生产环境中，通常保留一个预留的人类偏好面板，定期校准裁判。
未解决的问题
尽管位置偏见已被广泛研究，但仍有一些开放问题。
首先，位置偏见的根本机制尚未完全明确。虽然注意力机制和训练数据是主要假设，但具体如何产生位置偏好仍缺乏因果解释。
其次，位置偏见在不同模型、不同任务上的表现差异很大。一个裁判可能在任务 A 上偏好第一个位置，在任务 B 上偏好第二个位置。这种不稳定性使得设计通用的缓解策略变得困难。
第三，评估偏差的累积效应。在模型迭代过程中，如果每个决策都受到微小偏见的影响，长期累积可能导致模型偏离真实用户偏好。这种“古德哈特效应”使得评估指标本身成为优化的目标，而非质量的代理。
最后，如何动态检测位置偏见的漂移。裁判模型更新（如 GPT-4 版本升级）可能改变位置偏好，但团队往往无法及时察觉。因此，需要持续监控裁判与人类的一致性，而不仅仅是依赖一次性审计。
在自动评估成为模型开发核心环节的今天，位置偏见提醒我们：评估工具本身也需要被评估。只有当裁判与人类判断保持一致时，基于它的分数才值得信赖。