2026 年 10 月 30 日,AI 训练退出信号第一次有了统一写法:OpenAI、谷歌、微软和 Anthropic 同日宣布,将支持同一个 robots.txt 政策标记 __usage_ai-training。网站主在 robots.txt 里写一次,就能向参与厂商同时表达“不要用我的内容训练模型”,不用再逐家写 GPTBot 这样的专属规则。这个信号目前还是草案,各家生效时间不等,而且它只表达训练意愿,不拦抓取。
共享信号长什么样
写法只有两行:User-Agent: __usage_ai-training,再加 Disallow: /。只想开放部分栏目时,可以用 Allow: /press-kit/ 这样的例外把那部分留出来。关键要理解它的性质:这是一个政策标记,不是爬虫指令。写上它,不等于不让爬虫拉取页面,页面照样可被抓取、建索引;它表达的是“拉到了也别拿去训练”。各家原有专属控制仍然有效。
四家的时间表并不齐
Anthropic:表示已开始实施。草案由 Anthropic 工程师 Kevin Kelley 执笔,来自 IETF 的 AI 偏好工作组。
OpenAI:表示将在未来几个月内支持这一共同信号,同时现有的 robots.txt 控制继续适用、继续被尊重。
微软:定在 2027 年 2 月 1 日起支持,还计划在页面一级区分“训练”与“引用(grounding)”——后者指把实时内容拉进聊天答案。
谷歌:计划在 2027 年内支持。谷歌表示,用了共享标记、又没单独写 Google-Extended 的网站,会被按拒用 Google-Extended 理解;已有控制本身不取消。
各家真正生效前,现有专属规则仍是稳妥挡板,别急着删;提前写上共享标记也不会立刻生效。
先分清它不管的三件事
第一,它不管抓取。标记只表达用途偏好,是否拉取由原有抓取规则决定。第二,它不管搜索与 AI 回答里的引用。页面仍可被索引、仍可能出现在 AI 搜索答案中;管引用要用另外的设置。第三,它不溯及既往。已经收进数据集、已经训好的模型,不会因为现在补写一条规则就被“撤回”。草案本身还不是正式标准:它是 IETF 个人提交的 Internet-Draft,2026 年 10 月 30 日发布、2027 年 5 月 3 日到期,未获 IETF 正式背书,只约束自愿跟进的厂商。
对网站主来说,先留着现有规则别动,等各家公告生效后再补共享标记。值得盯的,是 2027 年各家是否按期兑现。