The Verge AI· Emma Roth·· 12 天前精选AI 评分79
OpenAI、Google、Microsoft 与 Anthropic 宣布支持统一的 AI 抓取退出标准
The biggest names in AI are backing a new way to opt out of scraping
AI 导读
OpenAI、Google、Microsoft 和 Anthropic 宣布将支持一项新的网络抓取退出标准，允许网站发布者通过统一规则拒绝 AI 抓取。该方案由 Anthropic 工程师在 IETF 框架下提出，基于 robots.txt 中的共享 policy token 信号生效。
推荐理由
主流大模型厂商统一遵循基于 robots.txt 的共享退出信号，让网站无需向各家单独配置即可集中管理抓取偏好。
来源：The Verge AI · theverge.com