OpenAI、Google、微软等支持统一AI抓取退出标准
先了解这件事
OpenAI、Google、Microsoft 与 Anthropic 宣布将支持一项基于 robots.txt 的统一网络抓取退出标准，允许网站发布者通过单一共享信号拒绝各厂商进行 AI 抓取与模型训练。该方案由 Anthropic 工程师在 IETF 框架下提出。 在落地进度方面，Anthropic 目前已采用该信号，OpenAI 称将在未来数月内执行，Google 与 Microsoft 则计划于明年跟进。Microsoft 另外表示，无论网站设置何种退出偏好，其内容仍会正常出现在 Bing 搜索结果中。
AI 根据报道生成 · 12 天前更新
事件进展
2 个进展
- 10月31日 04:26 · 1 篇报道四大AI巨头将支持统一的AI防抓取标准The Verge AI：OpenAI、Google、Microsoft 与 Anthropic 宣布支持统一的 AI 抓取退出标准
- 10月30日 17:30 · 1 篇报道OpenAI支持共享robots.txt训练偏好信号OpenAI News：OpenAI 宣布支持共享 robots.txt 信号以表达 AI 训练偏好
报道时间线
沿着报道，了解事件的不同侧面。
- Search Engine JournalGoogle 排名数据异常、Lighthouse 13.6.0 更新与统一 AI 训练退出协议
Google 搜索结果近期因单字匹配及 goto 重定向限制导致第三方排名追踪数据失真，同时 PageSpeed Insights 已升级至 Lighthouse 13.6.0 并修改了加载模拟机制。此外，Google、Microsoft 与 OpenAI 宣布计划支持基于 robots.txt 的统一 AI 训练退出规则，但目前三方均未正式支持且覆盖范围存在差异。
- Search Engine Journal精选Google、Microsoft 与 OpenAI 计划支持统一的 AI 训练退出规则
Google、Microsoft 与 OpenAI 宣布计划支持通过 robots.txt 中的统一策略标识来管理 AI 训练授权，允许网站使用一套规则向多家参与厂商声明拒绝模型训练。
- The Verge AI精选OpenAI、Google、Microsoft 与 Anthropic 宣布支持统一的 AI 抓取退出标准
OpenAI、Google、Microsoft 和 Anthropic 宣布将支持一项新的网络抓取退出标准，允许网站发布者通过统一规则拒绝 AI 抓取。该方案由 Anthropic 工程师在 IETF 框架下提出，基于 robots.txt 中的共享 policy token 信号生效。
- OpenAI News精选OpenAI 宣布支持共享 robots.txt 信号以表达 AI 训练偏好
OpenAI 宣布将遵循一项共享的 robots.txt 信号，协助网站运营者向参与该规范的 AI 厂商传达数据训练偏好。该机制旨在让网站方更便捷地自主管理自身内容是否用于大语言模型训练。