Search Engine Journal· Matt G. Southern·· 18 小时前AI 评分75
Google 解释 robots.txt 在 AI 内容使用与模型训练上的局限
Google Explains The Limit Of Robots.txt For AI Content Use via @sejournal, @MattGSouthern
AI 导读
Google 的 Gary Illyes 澄清，根据 RFC 9309 标准，robots.txt 仅控制爬虫的抓取权限，无法约束爬虫获取内容后如何使用数据或是否用于 AI 模型训练。
来源：Search Engine Journal · searchenginejournal.com