Search Engine Journal· 18:58AI 评分7575Google 解释 robots.txt 在 AI 内容使用与模型训练上的局限Google 的 Gary Illyes 澄清,根据 RFC 9309 标准,robots.txt 仅控制爬虫的抓取权限,无法约束爬虫获取内容后如何使用数据或是否用于 AI 模型训练。SEO 与 GEO 流量#平台规则#SEO#Google