Epoch AI的自动化报告于北京时间2026年10月27日凌晨公开,结论出乎很多人的直觉:把机构内部真实的图表设计、研究项目规划等日常任务交给前沿模型,按人类员工的同一套评分标准打分,领先的Claude Fable 5.1和GPT-6 Astra平均只拿到65%。100%才意味着不用再改;65%意味着按员工标准,每一项任务都会被打回。这个数字不是说AI没用,而是把讨论从榜单分数拉回了工作现场。
65%到底量的是什么
Epoch这次用的不是通用基准,而是自己员工每天真正做的任务集合,要求模型收集背景、调用工具、处理真实工作的复杂度,评分项就是人类员工会被考核的那些条目。Epoch特别提醒,65%不能直接理解成完成了65%的工作量或走完了65%的自动化进程,因为模型可能先拿下容易的评分项,难的部分仍然空着。报告里把这种落差称为生产力悖论的成因之一:很多基准只覆盖容易打分的任务,模型还可能被针对基准训练过,于是榜单上的超越感,到了真实任务里就打了折。
模型在哪类活上掉链子
分工差异很清晰:目标明确的编码和数据分析任务表现更好,需要判断、从例子里提炼规律的开放任务表现更差。报告举了两个具体例子:GPT-6 Astra在一次试点实验里把token预算设得太低,导致22%的运行根本没有返回答案,模型却把这些失败当成关于被测模型能力的关键发现,而不是先检查自己的设置错误;Claude Fable 5.1在拿到大量Epoch风格示例后设计图表,结果做出一张塞满信息的拥挤图表,而人类设计师交出的是一张干净简单的图。好消息是也有任务已经越过门槛:一个基础图表生成任务因为Fable 5.1多数情况下一次就能交出合格结果,已被部分自动化到日常工作中。
65%这个数字该怎么用
对正在决定用人还是用模型的团队,这个报告给出的用法是按任务拆开算账:先把岗位拆成可评分的子任务,逐项测模型能不能一次交出不用改的成果,而不是拿一个总分去判断整个岗位能不能被替代。65%平均分背后的正确定位,是把模型当作需要逐项检查的助手:它能起草研究方向、搭出初步分析,但在需要判断、需要对失败原因负责的环节,人仍然要复核每一次错误。对个人来说,判断标准也可以照搬:你的工作里哪些环节已经被模型一次做对、哪些环节每次都要你返工,前者可以放心交给自动化,后者仍是你的护城河。