Google澄清robots.txt仅限制爬虫抓取而非AI训练
热点事件持续更新
Google澄清robots.txt仅限制爬虫抓取而非AI训练
1 篇报道1 个报道来源20 小时前更新
先了解这件事
AI 综述
Google 的 Gary Illyes 澄清，按照 RFC 9309 互联网标准，robots.txt 仅用于控制爬虫可以请求抓取哪些 URL，无法约束爬虫获取内容后的使用方式，也不能限制数据是否被用于 AI 模型训练。 Google 规范页面显示，其目前仅支持 User-Agent、Allow、Disallow 和 Sitemap 四个元素，其余无效行将被忽略；robots.txt 设置不影响网站在 Google 搜索中的收录，也不是搜索排名信号。
AI 根据报道生成 · 50 分钟前更新
最新进展10月22日 18:58
Google 解释 robots.txt 在 AI 内容使用与模型训练上的局限报道时间线
沿着报道，了解事件的不同侧面。
10月22日
- Search Engine JournalGoogle 解释 robots.txt 在 AI 内容使用与模型训练上的局限
Google 的 Gary Illyes 澄清，根据 RFC 9309 标准，robots.txt 仅控制爬虫的抓取权限，无法约束爬虫获取内容后如何使用数据或是否用于 AI 模型训练。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。