AI导航

Epoch实测:顶级模型只拿到65%,离接管工作还远

AI资讯
2 min read
2 次阅读

Epoch AI的自动化报告于北京时间2026年10月27日凌晨公开,结论出乎很多人的直觉:把机构内部真实的图表设计、研究项目规划等日常任务交给前沿模型,按人类员工的同一套评分标准打分,领先的Claude Fable 5.1和GPT-6 Astra平均只拿到65%。100%才意味着不用再改;65%意味着按员工标准,每一项任务都会被打回。这个数字不是说AI没用,而是把讨论从榜单分数拉回了工作现场。

65%到底量的是什么

Epoch这次用的不是通用基准,而是自己员工每天真正做的任务集合,要求模型收集背景、调用工具、处理真实工作的复杂度,评分项就是人类员工会被考核的那些条目。Epoch特别提醒,65%不能直接理解成完成了65%的工作量或走完了65%的自动化进程,因为模型可能先拿下容易的评分项,难的部分仍然空着。报告里把这种落差称为生产力悖论的成因之一:很多基准只覆盖容易打分的任务,模型还可能被针对基准训练过,于是榜单上的超越感,到了真实任务里就打了折。

模型在哪类活上掉链子

分工差异很清晰:目标明确的编码和数据分析任务表现更好,需要判断、从例子里提炼规律的开放任务表现更差。报告举了两个具体例子:GPT-6 Astra在一次试点实验里把token预算设得太低,导致22%的运行根本没有返回答案,模型却把这些失败当成关于被测模型能力的关键发现,而不是先检查自己的设置错误;Claude Fable 5.1在拿到大量Epoch风格示例后设计图表,结果做出一张塞满信息的拥挤图表,而人类设计师交出的是一张干净简单的图。好消息是也有任务已经越过门槛:一个基础图表生成任务因为Fable 5.1多数情况下一次就能交出合格结果,已被部分自动化到日常工作中。

65%这个数字该怎么用

对正在决定用人还是用模型的团队,这个报告给出的用法是按任务拆开算账:先把岗位拆成可评分的子任务,逐项测模型能不能一次交出不用改的成果,而不是拿一个总分去判断整个岗位能不能被替代。65%平均分背后的正确定位,是把模型当作需要逐项检查的助手:它能起草研究方向、搭出初步分析,但在需要判断、需要对失败原因负责的环节,人仍然要复核每一次错误。对个人来说,判断标准也可以照搬:你的工作里哪些环节已经被模型一次做对、哪些环节每次都要你返工,前者可以放心交给自动化,后者仍是你的护城河。

推荐工具

NVIDIA Chat with RTX AI聊天 Chat with RTX 是 NVIDIA 面向 RTX 电脑的本地 AI 聊天工具,可围绕本地文档和视频资料做问答,适合重视隐私、离线检索并具备硬件条件的用户更适合资料不便上传云 HuggingChat AI聊天 HuggingChat 是 Hugging Face 的开源模型聊天应用,支持 Omni 自动选模型,也可手动选社区开放模型对话。它适合体验开源模型、技术探索和问答,结果可能不稳定,重要内容需复核。 纳米AI搜索 AI搜索 纳米AI 是 360 旗下 AI 搜索和智能体入口,支持文字、语音、拍照提问、多模型协作与内容创作,适合中文用户做日常搜索、学习问答、移动查询、热点追踪、生活决策、知识整理和轻量创作。 Qwen Chat(通义千问) AI聊天 Qwen Chat 是Qwen 大模型聊天助手,支持Qwen 模型聊天、写作和编程问答,适合中文用户和开发者完成 AI 对话、资料问答和任务协作,适合上线前核对权限、成本和资料质量。 DuckDuckGo AI Chat AI聊天 DuckDuckGo AI Chat 适合重视隐私的普通用户使用,围绕隐私 AI 聊天、免账户使用和多模型问答提供对话式 AI 支持和任务协作能力,适合上线前核对权限、成本和资料质量。 Goody-2 AI聊天 Goody-2 是以极端安全和伦理对齐为特色的 AI 聊天助手,常用于观察模型拒答边界、内容安全策略、保守输出体验和 AI 风险讨论,更适合作为安全边界样本使用前应理解它偏实验性质,不适合。