AI 测评：坏掉的是分数，不是排名He Wants AI Benchmarking To Be a Science, Not a Dark Art

计算机科学家 Moritz Hardt 认为 AI 基准测试的绝对分数早已失真，但模型间的排名却意外可靠，只是大模型时代连这一点也正在失效。

AI 基准测试就像考试：出张卷子，看谁分高。但这个「考试」有个大问题——考生可以刷题。

一把刻度有问题的尺

基准测试本该像温度计，烫不烫一量就知道。但现在人们直接用测试集训练模型，等于考前把真题做了好几遍。

换个差不多的新卷子，90 分的模型可能掉到 73 分。绝对分数几乎没意义。

排名反而意外可靠

奇怪的是，只要大家用同一套训练数据，排名就非常稳定。考 90 分的模型换张卷子，通常还是比 80 分那个强。

这是机器学习这些年没出科学危机的最大原因——虽然没人说得清为什么。

大模型打破了默契

到了大模型时代，没人知道各家用了什么训练数据。有的模型考前猛刷题，像高中生备考，出来的分数当然好看。

新模型发布后，旧基准测试分数往往高得离谱，新出的基准立刻现原形。这就是业内默认的「benchmaxxed」。

Hardt 的建议是：干脆给所有模型安排「高原训练」——考前统一让它们接触基准相关数据，公平地刷题，排名就能回暖。