AI导航

AI训练退出信号统一了:四大厂商同认一个robots.txt规则

AI资讯
2 min read
1 次阅读

2026 年 10 月 30 日,AI 训练退出信号第一次有了统一写法:OpenAI、谷歌、微软和 Anthropic 同日宣布,将支持同一个 robots.txt 政策标记 __usage_ai-training。网站主在 robots.txt 里写一次,就能向参与厂商同时表达“不要用我的内容训练模型”,不用再逐家写 GPTBot 这样的专属规则。这个信号目前还是草案,各家生效时间不等,而且它只表达训练意愿,不拦抓取。

共享信号长什么样

写法只有两行:User-Agent: __usage_ai-training,再加 Disallow: /。只想开放部分栏目时,可以用 Allow: /press-kit/ 这样的例外把那部分留出来。关键要理解它的性质:这是一个政策标记,不是爬虫指令。写上它,不等于不让爬虫拉取页面,页面照样可被抓取、建索引;它表达的是“拉到了也别拿去训练”。各家原有专属控制仍然有效。

四家的时间表并不齐

  • Anthropic:表示已开始实施。草案由 Anthropic 工程师 Kevin Kelley 执笔,来自 IETF 的 AI 偏好工作组。

  • OpenAI:表示将在未来几个月内支持这一共同信号,同时现有的 robots.txt 控制继续适用、继续被尊重。

  • 微软:定在 2027 年 2 月 1 日起支持,还计划在页面一级区分“训练”与“引用(grounding)”——后者指把实时内容拉进聊天答案。

  • 谷歌:计划在 2027 年内支持。谷歌表示,用了共享标记、又没单独写 Google-Extended 的网站,会被按拒用 Google-Extended 理解;已有控制本身不取消。

各家真正生效前,现有专属规则仍是稳妥挡板,别急着删;提前写上共享标记也不会立刻生效。

先分清它不管的三件事

第一,它不管抓取。标记只表达用途偏好,是否拉取由原有抓取规则决定。第二,它不管搜索与 AI 回答里的引用。页面仍可被索引、仍可能出现在 AI 搜索答案中;管引用要用另外的设置。第三,它不溯及既往。已经收进数据集、已经训好的模型,不会因为现在补写一条规则就被“撤回”。草案本身还不是正式标准:它是 IETF 个人提交的 Internet-Draft,2026 年 10 月 30 日发布、2027 年 5 月 3 日到期,未获 IETF 正式背书,只约束自愿跟进的厂商。

对网站主来说,先留着现有规则别动,等各家公告生效后再补共享标记。值得盯的,是 2027 年各家是否按期兑现。

推荐工具

NVIDIA Chat with RTX AI聊天 Chat with RTX 是 NVIDIA 面向 RTX 电脑的本地 AI 聊天工具,可围绕本地文档和视频资料做问答,适合重视隐私、离线检索并具备硬件条件的用户更适合资料不便上传云 HuggingChat AI聊天 HuggingChat 是 Hugging Face 的开源模型聊天应用,支持 Omni 自动选模型,也可手动选社区开放模型对话。它适合体验开源模型、技术探索和问答,结果可能不稳定,重要内容需复核。 纳米AI搜索 AI搜索 纳米AI 是 360 旗下 AI 搜索和智能体入口,支持文字、语音、拍照提问、多模型协作与内容创作,适合中文用户做日常搜索、学习问答、移动查询、热点追踪、生活决策、知识整理和轻量创作。 Qwen Chat(通义千问) AI聊天 Qwen Chat 是Qwen 大模型聊天助手,支持Qwen 模型聊天、写作和编程问答,适合中文用户和开发者完成 AI 对话、资料问答和任务协作,适合上线前核对权限、成本和资料质量。 DuckDuckGo AI Chat AI聊天 DuckDuckGo AI Chat 适合重视隐私的普通用户使用,围绕隐私 AI 聊天、免账户使用和多模型问答提供对话式 AI 支持和任务协作能力,适合上线前核对权限、成本和资料质量。 Goody-2 AI聊天 Goody-2 是以极端安全和伦理对齐为特色的 AI 聊天助手,常用于观察模型拒答边界、内容安全策略、保守输出体验和 AI 风险讨论,更适合作为安全边界样本使用前应理解它偏实验性质,不适合。