先看证据
答案相同，不代表标准相同
Ai2 于 2026 年 10 月 20 日在 Hugging Face 发布 FairStress，这是一个评估大型语言模型人口统计公平性的基准，面向招聘、贷款、医疗等可能影响个人机会与资源的决策场景。它追问的不是模型能否在两份身份互换的案例里给出同一个答案，而是当有人为另一位候选人提出有说服力的理由时，模型会不会因受益者的群体身份不同而更容易改判。
这个区别容易被静态测试漏掉。假如模型在黑人候选人和白人候选人互换身份后，都选了履历更强的那位，表面上看没有差别；但若同一条“管理层更偏好另一位候选人”的提示，在一种身份组合下更容易让模型放弃证据支持的选择，那么初始答案的一致并不能说明决策过程同样稳健。FairStress 把这种对压力的群体条件敏感性纳入公平评估。
把身份线索和说服压力交叉测试
FairStress 包含 300 个双候选人情境，覆盖 29 个领域。部分案例有明确较优者，可以检验模型是否依照给定证据选人；另一些案例刻意让双方各有优劣，用来观察证据无法定胜负时模型偏向谁。身份线索分为四档，从不提供身份信息，到带有身份暗示的姓名、姓名加间接暗示，再到明确标出人口统计身份；测试还会交换候选人顺序，并加入支持其中一人的“对抗性前缀”。
规模上，完整基准有 13,032,104 条测试案例，15 个模型在其上完成评测。报告还提供以项目反应理论筛选的 FairStress-Core 子集，精确包含 50,012 条，供更多模型进行较小规模的比较；报告汇总的相关研究问题涉及 23 个不同模型。因此，完整基准与 Core 的数字应当分开理解：前者覆盖更广，后者是筛选后的评测入口，并非另一项独立的公平定义。
静态差距不大，受劝改判差异更醒目
完整基准中，明确标出身份时，15 个模型的平均群体间准确率差为 2.9 个百分点。这个数字说明只看有明确答案的初始选择，群体差距可能显得有限；但当论据支持较弱候选人时，模型放弃原本正确、且有利于多数群体候选人决定的群体差异平均达到 9.3 个百分点。身份只被间接暗示时，这一差距为 6.9 个百分点，说明遮掉明确标签并不等于消除了身份相关信号。
模糊案例呈现的是另一种问题：没有客观优胜者时，明确身份条件下，模型平均有 61.6% 的概率选中少数群体编码的候选人；加入劝说论据后，模型朝少数群体候选人改选的比例，比朝多数群体候选人改选高 23.9 个百分点。这个结果不能单独证明模型“偏向”哪一方就是不公平，因为它没有唯一正确答案；它更直接说明，身份与说服论据会共同影响选择方向。对审计而言，关键不是把某个群体获选率较高自动判成错误，而是查明变化是否对不同群体采用了不对称的标准。
审计对象应从答案扩展到改判路径
对技术负责人来说，FairStress 的直接价值是提供一种更细的测试设计：对同一决策同时记录初始选择、加入匹配论据后的选择，以及不同身份线索下的变化。再把“有明确答案”和“没有客观优胜者”的案例分开，团队就能区分两类风险：模型是否更容易放弃证据充分的决定，以及在证据不足时是否对不同群体表现出不同倾向。Ai2 表示基准可下载，并计划将其纳入 Olmo-eval，作为运行和比较模型评估的工作台的一部分。
报告也触及解释与内部信号，但这类证据不能替代行为评估。作者在 Gemma-3-12B-it 和 Qwen2.5-7B-Instruct 上发现，内部激活约能以 73% 的准确率预测模型选择了哪一侧；移除候选人姓名后，这一准确率下降约 18 个百分点。范围只有两个模型和少数身份对比，因此它提示身份信息可能进入决策相关表征，却不足以证明因果机制。干预结果同样提醒人谨慎：一个激活引导案例中，Qwen2.5-7B-Instruct 在明确答案任务上的准确率从 98% 降到 47%；反事实思维链在三个模型家族中更接近对称地坚持决定，但没有消除模糊案例里的群体偏向。
对称公平不是公平的全部
FairStress 衡量的是 Ai2 所说的“对称公平”：条件相同、证据支持某项决定时，不应仅因身份不同而改变选择，也不应因受益群体不同而对同一类劝说表现出不同的易感性。这是一条明确的评估立场，不是中立的公平总定义。若一个团队认为历史歧视或代表性不足本身与决策相关，那么在某些情境中倾向少数群体候选人，未必会被视为不公；FairStress 不能替团队解决这种规范分歧。
外推范围也有限。案例是模型生成、经人工验证的虚构双人短场景，对抗性论据主要以一句话出现在候选人资料之后，并未覆盖更长材料、多名候选人或多轮施压；公开材料也没有提及独立复现或同行评审结论。因而更稳妥的用法，是把 FairStress 当作上线前的压力测试和差异定位工具，再用符合自身政策的标准审视失败案例，而不是把一个分数当作真实招聘、信贷或医疗系统已经公平的证明。