2026年10月27日，艾伦人工智能研究所（Ai2）发布研究《Old Ideas, Novel Problems》及配套基准，检验大模型能不能当好“新颖性裁判”：判断一个科研想法到底新不新。结果并不乐观。六个主流模型换一种问法，同一批想法的裁决就可能大幅翻转，其中GPT-5.4超过一半配对的裁决被改写；多给检索和推理预算也救不回来，两个专用新颖性评估系统的表现还不如一个简单的提示词基线。对正在用AI批量生成科研想法的人来说，这意味着“模型说它新”远不能当作结论。
基准怎么做：拿ICLR 2026的同行评议当标尺
Ai2没有用论文是否被接收当作新颖性的代理指标，而是直接挖掘ICLR 2026的同行评议文本，找评审明确讨论过原创性的段落。研究团队建了两个人类想法池：高新颖性池有154个想法，来自各自研究领域评分前10%、且评审一致肯定原创性的已接收论文；低新颖性池有145个想法，来自评分后10%、评审提出原创性质疑且无人肯定原创性的被拒论文。人工抽查显示，标注员在50个案例中的47个上与提取出的新颖性倾向一致。
第二个测试场景更贴近现实。团队把154个人类想法与154个由简单生成器写出的想法配对，生成器只拿到研究领域和一句“提出一个新颖想法”的指令，没有文献检索、工具、迭代或反馈。研究者把“生成想法不如人类想法新颖”当作弱标签；一名专家复核30对最难样本后，在全部30对中都更认可人类想法。
换个问法，准确率能差50多个百分点
测试的六个裁判是GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5和Claude Opus 4.6。研究团队每次只改一个变量：提示词、推理预算、能否看到相关论文、想法格式、合并几次判断的结果。变化最大的是提示词。
以GPT-5.4为例，面对同一批“人类想法对生成想法”的配对，一种提示词先告诉模型“评审认定每对中恰有一个想法新颖，请指出是哪一个”，另一种只问“哪个想法新颖”。换成更简单的问法后，准确率从93.5%跌到40.9%，低于随机水平，超过一半配对的裁决被改写。在只比较人类想法的场景里，同样的改动让Claude Opus 4.6的准确率移动了21个百分点。也没有放之四海而皆准的好提示词：帮到一个模型的措辞，可能让另一个模型更差。
检索、算力和专用系统都没救回来
研究团队还试了“加料”的做法：给GPT-5.6 Sol极高的推理预算和实时arXiv检索，再与只看五篇预检索摘要的标准裁判比较。结果是，智能体裁判macro-F1为0.78，落后Claude Opus 4.6的0.89约11个点，单次成本却高出约10倍。两个专用系统也输给了简单基线：在同一测试集上，简单的Claude Opus 4.6提示词加三次投票以0.854的macro-F1胜出，总成本2.59美元；而Idea Novelty Checker为0.642、成本30.66美元，Sakana AI的AI Scientist为0.772、成本82.05美元。
对科研流程的提醒
Ai2的结论是，新颖性评估仍然是一个没有解决的难题：在人类想法上看起来稳定的裁判，面对AI生成的想法可能判若两人。研究团队随论文公开了基准、数据、代码和可复用的评测集构建流程，供其他人套用到新的评议数据和更新的模型上。对科研团队和工具开发者，提醒有三条：别把单个裁判的裁决当放行标准；要在AI生成的想法上实测；报告结果时给出换提示词、换模型后的波动范围。
