上周我在一个模型评测交流群里看到一场争论A团队用自建的测试集测出模型甲领先模型乙6分B团队立刻用另一套测试集说乙反超接近8分。两边各自都有完整的过程记录但放在一起对照结论完全对不上。这个场景在大模型评测圈里几乎每周都在重演——数据集一变指标就失去可比性排名也跟着左右横跳。这篇文章想聊的就是为什么会这样以及我们真正能做什么而不是面对两个数字只能干瞪眼。适合读这篇内容的人有两类一类是刚入坑评测、拿着公开榜单对比模型选型的新手另一类是已经在跑自己的基准测试、但报告写出来总被质疑“你这个分没法跟别人那个分比”的团队。无论你属于哪一类下面这些思路和操作都是我实测过、踩过坑之后沉淀下来的可以直接拿去用。1. 换了数据集指标就“失联”问题出在哪四个地方指标不可比不是玄学背后有非常具体的来源。我把它拆成四个层面每一个层面都在真实评测里反复出现过。1.1 最容易被忽视的题目难度分布根本不均两个测试集都叫“综合能力测试”但一个里面60%是常识问答另一个里面60%是长文档推理出来的总分能比吗当然不能。就算模型能力完全一样换到更难的题集上分数天然就会掉5到10分。这里有个很隐蔽的细节同样是平均分难度分布的形状完全不同。一个数据集如果大多数题都很简单、少数题特别难平均分可能看起来还不错另一个数据集如果所有题都卡在中等难度平均分反而更低但对模型真实能力的区分度更高。也就是说平均分这个单点指标掩盖了题目难度分布的全部信息。我做过一个简单测试拿同一批模型分别在两套同样主题、但题目来源不同的数学题集上跑。第一套题大部分是单步计算第二套题大量需要多步推导。结果最强的模型在第一套只比最弱的领先3分到第二套领先拉到11分。你说哪个结果是“对的”都对但它们根本没有可比性因为考的东西在难度结构上就不是一回事。所以拿到任何一份评测报告先别盯着分数去看它的题目构成题型分布、难度分层、知识领域覆盖这些信息比总分重要得多。1.2 打分器的“横跳”风险大模型评测里主观题越来越多代码题、写作题、开放问答不能再用字符串匹配算分只能让另一个模型当裁判来打分。这个裁判模型本身就是一个不稳定因素。我试过用同一个裁判模型给同一批答案打分只改了一下评分prompt里的措辞把“请评估以下回答”改成“请严格评估以下回答”整体平均分就变化了将近3分。如果把裁判模型从小规模换成大规模同一份答案的得分更可能从4分变8分。更要命的是很多裁判模型对“答案形态”有偏好回答里写了详细推导过程、分步骤列点的容易拿高分只给简洁结论的哪怕结论完全正确也容易被判低分。这就会造成一种系统偏差——会写长文的模型在主观题评测里天然占便宜。主观题评测还有一个叠加问题评判维度不固定。有的数据集按“正确性、完整性、清晰度”三个维度各打1到5分有的按“相关性、忠实度、帮助性”打分维度权重还不公开。这些细节只要有一个不一致分就不能跨数据集比。1.3 解码随机性比你想象的大很多人觉得生成式模型跑评测设了temperature0就完全是确定性的。实际上远没有这么理想。不同的推理框架对采样逻辑的实现有细微差异同一个模型在不同框架下跑同样的题结果都可能不一样有些框架在temperature0时内部仍然有非零的随机扰动。我做过一次稳定性测试同一个模型、同一套100道题、同一个推理框架连跑5次最好和最差的成绩能差1.8分。这个波动在对比两个差距很小的模型时可能就是决定性的。很多评测报告只跑一次就对外发这个习惯非常危险。解决的办法倒是不复杂重要对比尽量多次采样取平均并记录每次单独的结果看波动范围。如果两个模型的均值差小于波动范围就不该下“谁更强”的结论。我在自己的评测脚本里会同时输出均值、标准差和置信区间这份报告的参考价值会提升一个档次。1.4 数据污染一个绕不开的暗坑公开数据集在模型训练语料里出现的概率越来越高。某个开源模型在一套知名公开测试集上得分惊人但换一套同等难度、没有公开过的新题成绩立刻掉下来。这说明它部分“记住了答案”而不是“学会了能力”。数据污染的可怕之处在于它极难排查。训练语料往往不公开你没法知道模型训练时有没有见过这套题。哪怕你自己刚出了一套新题也得小心类似题目在互联网上已经有变体。这就形成了一个恶性循环为了防污染我们得不停换新数据集但一换数据集指标又变得不可比。目前没有一个一劳永逸的解法只能靠评测设计去缓解下面几个思路就是围绕这个矛盾展开的。2. 先立规矩什么时候能比什么时候不能比很多争论的根源是双方把不同层次的证据放在同一个天平上。我建议先建立一个“证据等级”的共识再谈怎么比。2.1 同一数据集、同一配置相对排序可信如果两个模型是同一套测试集、同一个评分prompt、同一次评测运行流程里跑出来的那么它们之间的相对排序是可信的。注意我说的是“排序可信”不是“分数可信”。这就像同一个班级用同一张卷子考试排名的说服力远大于具体分值。在这个层级你可以放心地告诉别人“模型甲在这批测试题上的表现比模型乙好。”但不要轻易说“甲比乙强5分”——这5分的含义完全取决于题目的具体难度和评分尺度。2.2 跨数据集、跨版本、跨评分协议绝对分数不可比如果换了数据集还换了评分配置那分数之间的任何减法、除法都失去意义。你只能说“模型甲在A测试集上得80分模型乙在B测试集上得85分”但不能说“乙比甲强”。这两套题难度不一样裁判标准不一样连样本量都可能不一样80和85之间没有一个统一的物理意义。跨榜对比的风险也在这里。公开榜单用的是各自的私有数据集背后是各自的采样策略、评测次数和评分协议榜单位次可以粗略参考但把分数拿来横向加减一定会得出荒谬的结论。2.3 一张“证据等级”判断清单我自己看评测报告时会按下面这张表给结论分级。建议你拿到任何一份报告也先做这个判断证据等级前提条件能下的结论A级同一数据集、同一配置、多次采样取均值模型间的相对优劣B级同一数据集、同一配置、单次运行粗粒度排序注意波动区间C级同一主题的不同数据集只能看趋势性差异不能加减分D级不同主题/不同配置基本不具备直接可比性只作参考这张表可以终结相当一部分无意义的争论。有人拿C级甚至D级的证据说“某模型吊打某模型”你只需要问一句“这两个分数来自同一套题、同一个评分配置吗”大多数情况下答案是否定的。3. 让指标重新可比的三种硬手段光说“不能比”对实际操作没有帮助。真正的问题是如果你确实需要在新数据集上做评测、而且希望结果还能和历史数据或者外部结果有所对照应该怎么做下面三种手段是我用过之后觉得真正有效的。3.1 思路一把绝对分换成相对判断第一种做法是放弃“独立打分”改成“两两对比”。给两个模型喂完全相同的输入让裁判模型只看输出不看来源判断哪一个更好。这种成对偏好判断受题目绝对难度的影响要小得多因为裁判比较的是同一个输入下的两个答案难度因素被天然抵消了。实操上可以这样做从测试集里随机抽100道题每道题都让模型甲、模型乙各回答一次。把两个回答并排提供给裁判模型要求它给出“甲更好”“乙更好”或“平局”。累计胜负场次用类似ELO的算法把结果转换成相对能力值。ELO的好处是它天然是一个相对量表不依赖具体数据集。哪怕两次评测用完全不同的题目只要题目难度都落在模型的能力范围内、且数量足够得到的ELO值就具有一定的可持续追踪意义。我自己的项目里用了这个方案之后新题和旧题的评测结果第一次做到可以合并分析了。当然这个方案也有成本评测次数翻倍、裁判模型的调用量变大、还要处理平局和偏好偏置。比较适合用在关键模型的对比不适合大规模日常跑分。3.2 思路二用锚题把分数校准到同一把尺子上第二种思路是“标定校准”原理很像考试里的标准分换算。做法是在你所有新数据集里都混入一组固定的“锚题”。这些锚题选中之后永远不再改动也尽量不公开。每次跑新数据集的评测时锚题都以盲题的身份混在测试题里跟着一起打分。评测结束后你手上有两个数锚题组的实际平均分以及锚题组在你历史评测里的平均分。这两个数的差就是这次评测相对历史基准的系统偏移量。之后新数据集里每个模型的总分都减去或加上这个偏移量再报告。用公式来表达就是adjusted_score raw_score (anchor_expected_mean - anchor_actual_mean)举例来说锚题组历史平均分是80分这次混入新题实测只有71分说明这批新题整体偏难或者评分标准变严了。于是新数据集里某个模型拿了75分校准后就是75 (80 - 71) 84分这才能和历史分数放一起看。这个方法的直接好处是只要锚题不变无论以后换多少套题分数都被强行拉回到同一个参照系。它的局限是只能处理“整体平移”式的偏移如果新旧数据集在不同能力维度上的难度变化不一致平移校准就未必准确——但用来做大方向的趋势追踪还是够用的。我在实践中会把锚题组保持在20到30道的规模分布要覆盖几个核心能力维度而不是只挑简单题或只挑难题。太简单的锚题没有区分度对高分模型完全失效太难的锚题又在低分模型那边失去信号。3.3 思路三给每个测试集加一份“难度画像”第三种手段是元数据层面的规范化。不要只报告一个总分把测试集的“难度画像”一并报告出来。具体来说包含这样几项每个能力维度的平均得分率和得分率分布样本量、各题型占比、平均答案长度打分器配置裁判模型名称、温度、评分prompt版本多次运行的标准差和置信区间这些信息本身不改变分数但它能让任何一个看到报告的人自己判断“这个分能不能跟别家比”。一个只有总分的评测报告别人只能做D级参考一份带上完整难度画像的报告读者至少能做C级判断。我见过一些做得好的开源评测项目把题目难度矩阵直接公开每道题都有预估难度系数和区分度。这样即便你手上是新题也能通过重叠的锚题反推出难度差异相当于拿到了一张“可兑换汇率表”。4. 一场完整的实操演示从不可比的数字到可比的结论讲了这么多原则用一个完整的虚拟案例把它们串起来。假设我们要对比模型M1和模型M2手上有两个测试集A集是团队一直用的老题库B集是刚刚搭建的新题库两套题主题相近但题目完全不同。4.1 第一轮直接跑分得到不可比的结果直接跑完结果是这样的模型A集得分B集得分M18268M27671如果只看这两行数直觉会告诉你M1在A集更强M2在B集更强两个人各自挑对自己有利的数据集说话。但如果就此下结论就犯了前面说的D级比较错误。我们进一步检查发现A集和B集的难度分布差异极大A集中大约一半题目是通用聊天场景题整体简单B集中80%是长文档推理和复杂指令执行题整体要难得多。M2在B集拿到的71分含金量和M1在A集拿到的82分根本不在同一量级。4.2 第二轮加入锚题重新校准好在我们从一开始就在两套题集里都混入了同一个锚题组共25道固定题。锚题组在历史评测中测出的M1平均分是85M2是80。这次实际测得模型锚题组本次得分锚题组历史得分M18485M27980两者都只掉了1分说明模型本身并没有显著退化。但B集整体得分比A集低主要是B集题目更难导致的。于是我们计算B集的难度偏移系数对M1来说锚题偏移是85 - 84 1分对M2来说是80 - 79 1分。然后把它加到B集原始分上。校准后M1在B集的得分 68 1 69M2 71 1 72。即使校准后M2在B集依然略高但M2的优势从3分缩小到了2分。更重要的是我们意识到A集本身偏简单M1领先的6分里有相当大的“水分”真正的能力差距远没有表面上那么大。4.3 第三轮两两对比确认相对优势为了进一步确认我们又跑了一轮两两对比评测。随机抽了80道并集题目让M1和M2分别回答再由裁判模型盲评优劣。结果是M1赢42场M2赢28场平局10场。这个相对优势是明显偏向M1的。综合三轮数据最终结论是这样的M1在综合能力上仍然占优尤其在复杂推理和长文本理解维度M2在部分新题型上表现不错但整体并没有实现对M1的反超。从A集快照看出的“领先6分”和从B集快照看出的“被反超3分”本质上都是数据集差异带来的假象。这个案例里没有任何一个数字是“错”的但它们放在一起如果不做任何校准就直接对比一定得出自相矛盾的结论。校准之后数字仍然存在但结论就清晰多了。5. 评测的真正价值不是排名而是建立“自己跟自己比”的长期基准最后聊一个更宏观的问题。很多人混淆了两种完全不同的评测需求一种是市场宣传式的“刷榜”追求一个可以被媒体直接引用的分数另一种是研发迭代式的“追踪”关心的是模型版本之间的真实进步和退化。指标失去可比性对前者的打击是致命的对后者的影响却可控。如果你做评测的目的是追踪自己模型的每一次更新我强烈建议把重点放在“自比”上固定你的一批锚题锁定评分配置每次新版本训练完就跑同一套流程。这时候你不需要换新数据集来证明自己你只需要从纵向曲线上看它是否在变好、在哪类题上变好。这套思路落地时有三条建议可以直接抄第一建立版本冻结机制。任何测试集的题目一旦定稿就不因模型表现而随意增删题目。确实要更新题库用锚题作为桥梁做新旧映射而不是直接推翻重来。第二固定评测协议。解码参数、裁判模型、评分prompt、采样次数全部写进配置文件并纳入版本管理。评测报告的头部必须携带这些配置指纹再配一个“本次评测与上次评测差异”的自动清单。第三学会使用权衡指标。有些维度是不能单看分数的比如指令遵循的成功率、长文本输出的稳定性、多轮对话的一致性。这些维度更适合画成能力画像而不是塞进一个总分里。能力画像最大的好处是即使两幅画像来自完全不同的数据集你仍然可以从维度形状上大致看出模型的倾向比比单一分数可靠得多。我现在看任何一份大模型评测报告默认动作都是先找它的测试集版本、题目构成和评分配置。找到了我才会决定这份报告属于哪一级证据找不到我会把它当作纯粹的宣传材料。做评测这么多年最深的体会是数字本身没有说服力只有数字背后的流程、边界和参照系才有。你要做的不是在数据集变化后继续硬着头皮比分值而是让评测体系自带尺子——当每个新数据集都带着自己的难度画像和锚题基准出现时可比性就不是靠天意而是靠设计。
