先看证据
裁判的答案，可能取决于问题怎么问
Ai2发布了研究《Old Ideas, Novel Problems》，并同步推出基准、数据、代码和自动构建评测集的流水线。它面向的是一个越来越实际的问题：当系统能生成研究构想时，另一套大语言模型能否可靠判断这些构想相对既有工作是否新颖？
这项研究值得技术负责人读，不是因为它给出了一个新的模型排行榜，而是因为它检验了排行榜赖以成立的判断过程。GPT-5.4面对同一批人类与生成想法配对，只因提示词换了说法，准确率便从93.5%降到40.9%，低于随机水平；模型还对过半的配对改变了选择。若一个评判器能被问题措辞推到相反结论，它的单次分数就很难成为科研系统进步的可靠证据。
标签来自评审意见，而不是录用结果
基准的第一步，是从ICLR 2026评审中找出明确谈论原创性的意见，而不是把录用直接等同于新颖。高新颖组包含154条想法：论文在所属领域评分前10%、获得录用，且评审肯定其新颖性、无人提出相反意见。低新颖组有145条：论文评分处于后10%、被拒稿，评审明确质疑原创性，也没有评审肯定新颖。
这个筛选方式比单看录用或拒稿更贴近研究问题，因为论文可以凭其他优点被录用，也可能带着原创贡献被拒。研究团队抽查了评审意见提取结果，标注者在50例中有47例认同新颖性信号的方向，且三例分歧都没有改变评审是否被计为肯定或质疑新颖性的判断。不过，这些标签仍是评审意见所支持的证据，不是对“新颖”这一概念的绝对裁定。
两个测试集，回答的是不同问题
Human-Only测试的是裁判能否区分上述两端的人类研究想法。它有较明确的来源证据，但也因此主要检验“评审已清楚表态”的案例，不等同于真实科研中那些新旧交织、边界模糊的构想。测试集擅长衡量裁判能不能识别强信号，却不能单凭此证明它能替研究者处理难以归类的中间地带。
Human+Generated则把154条高新颖人类想法，分别与154条简单LLM生成的想法配对。生成想法被当作较低新颖，是研究者采用的弱标签假设，并非逐条由专家核验；研究团队对30对进行盲评，专家都选择了人类想法，但这仍不能验证整个生成集。两种设置合起来能检验不同场景下的裁判表现，却不能把生成组的标签强度与评审明确表态的论文混为一谈。
提示词是评测协议的一部分
主实验比较了GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5和Claude Opus 4.6，并改变提示词、是否提供相关论文、推理预算、想法格式与投票次数。结果不是“多给上下文就更准”这么简单：检索和额外推理没有稳定改善判断，模型受到提示词改动的影响也不完全相同。评测设置因此不是模型外部的包装，而是决定分数的变量。
这对研发流程有直接影响。若团队只在一个提示词下比较两个科研系统，观察到的差异可能来自裁判协议，而不全是候选想法质量的差异。尤其是把AI生成内容送给另一个模型评分时，裁判提示词里对任务的描述、比较规则和可用证据都应纳入实验记录，并检查改写后的结论是否仍然成立。
更复杂的裁判，不自动带来更可信的判断
Ai2报告的特定Human+Generated单点判断成本比较中，Claude Opus 4.6加三次投票的macro-F1为0.854，成本2.59美元；Idea Novelty Checker为0.642、30.66美元；Sakana AI Scientist为0.772、82.05美元。另一个使用高推理预算和迭代检索的GPT-5.6 Sol扩展实验，macro-F1为0.78，比Claude Opus 4.6低11个百分点，成本约高10倍。这些数字只描述各自的测试设置，不构成跨任务的通用排名，但至少说明堆叠检索、推理与专用流程，不保证胜过简单基线。
因此，自动新颖性裁判更适合作为科研系统中的受控评测组件，而不是决定研究方向去留的权威。部署前应固定并公开评测协议，报告对提示词等设置的敏感性，并明确生成想法标签的来源与不确定性。这个基准聚焦ICLR 2026和新颖性明确的高低端案例，不能证明所有学科、所有模型都无法判断新颖；它给出的可执行判断更窄也更重要：先验证裁判是否稳定，再用它证明系统真的提出了新东西。