跳到正文
Search Engine Journal· Vahan Petrosyan·· 4 天前精选AI 评分72

面向搜索引擎与 AI 爬虫的 Robots.txt 配置指南与最佳实践

Robots.txt Guide – Best Practices For Search & AI Crawlers via @sejournal, @vahandev

AI 导读

Search Engine Journal 发布针对传统搜索引擎与 AI 爬虫的 robots.txt 配置指南,详解如何优化抓取预算并精细化控制 AI 数据访问。

推荐理由

指南系统梳理了区分 AI 模型训练与 AI 搜索检索的 robots.txt 规则,为站点在保护内容与保留 AI 引用之间提供了落地参考。

正文 · AI 翻译

robots.txt 文件一直是管理网络爬虫访问网站的核心工具。如今,除了传统爬虫,各类 AI 搜索工具和智能体也开始频繁访问网站,了解它们各自遵循哪些规则至关重要。

但如果不小心屏蔽了错误的漫游器,你的内容就可能被排除在大语言模型(LLM)或搜索引擎结果页(SERP)之外;反过来,如果对无关紧要的 URL 门户大开,大型网站的抓取预算又会被白白浪费。因此,配置时必须胸有成竹。

本指南将带你深入了解 robots.txt 的规则机制,帮你避免常见的 robots.txt 错误,在确保有价值内容可被正常访问的同时,减少不必要的抓取。

什么是 Robots.txt?

robots.txt 是一个存放在网站根目录下的纯文本文件,用于告知爬虫哪些内容可以抓取、哪些不能抓取。

下表汇总了常用的 robots.txt 指令,供快速参考。

指令 说明
User-agent 指定规则适用的爬虫名称,详见 User-Agent 标识符。使用通配符 * 可作为默认兜底规则,适用于没有专门指定规则组的爬虫。
Disallow 要求遵守规则的爬虫不要抓取指定的 URL 路径。
Allow 允许抓取特定 URL,即使其上级父目录已被 Disallow 屏蔽。
Sitemap 指明 XML 网站地图(Sitemap)的存放位置,方便搜索引擎抓取发现。

这张 2024 年的截图展示了 ikea.com 的 robots.txt 示例,其中包含多条规则。

Example of robots.txt from ikea.com
ikea.com 的 robots.txt 示例

请注意,robots.txt 并不支持完整的正则表达式,仅支持两个通配符:

  • 星号(*):匹配零个或多个任意字符。
  • 美元符号($):匹配 URL 的结尾。

此外还要注意,URL 路径匹配区分大小写(例如,“filter=” 和 “Filter=” 并不等价)。不过,指令名称和 User-Agent 匹配是不区分大小写的。

Robots.txt 的优先级顺序

在配置 robots.txt 文件时,必须了解当规则发生冲突时,搜索引擎会按什么优先级来判定执行哪条规则。

如果你为某个特定的漫游器单独写了一组规则,它就会优先遵循这组专属规则,而忽略 User-agent: * 下的通用规则。例如:

User-agent: *
Disallow: /private/

User-agent: Googlebot
Allow: /

在这里,Googlebot 仍然可以抓取 /private/,因为它的专属规则允许抓取所有 URL。如果想对 Googlebot 屏蔽该目录,就需要在它的 Allow: / 下方添加 Disallow: /private/。

在适用的规则组内部,Google 会遵循以下两条核心判定原则:

1. 最精确匹配原则

匹配 URL 字符数更多的规则会被优先采用。例如:

User-agent: *
Disallow: /downloads/
Allow: /downloads/free/

在这种情况下,“Allow: /downloads/free/” 比 “Disallow: /downloads/” 更具体,因为它直接指向了子目录。

Google 会允许抓取子目录 “/downloads/free/”,同时屏蔽 “/downloads/” 下的其他所有内容。

2. 最少限制原则

当多条规则的精确度完全相同时,例如:

User-agent: *
Disallow: /downloads/
Allow: /downloads/

Google 会选择限制最少的那一条。这意味着 Google 将允许访问 /downloads/。

为什么 Robots.txt 对 SEO 如此重要?

使用 robots.txt 屏蔽不需要在搜索结果中曝光的页面(如隐私政策),可以减少无效抓取,帮助 Googlebot 把抓取预算集中在有价值的页面上(如核心产品或服务页面)。不过 Google 也提醒,除非网站已经达到了抓取上限,否则这并不会自动将抓取预算转移给其他页面。此外,这也有助于搜索引擎节省算力消耗,推动更绿色的可持续发展。

Google 在 2024 年针对操作型 URL 发出的提醒中,就特别强调了加入购物车和收藏夹等链接,指出它们会白白浪费爬虫和服务器资源。

假设你运营着一家拥有数十万页面的电商网站。网站上有些板块(例如筛选页)可能会产生近乎无限的版本。这些页面本身并无独特价值,内容基本雷同,却会衍生出无限的抓取空间,白白消耗你的服务器资源和 Googlebot 的抓取资源。这时就需要 robots.txt 出场了,它可以阻止搜索引擎爬虫抓取这些页面。

如果不做限制,Google 可能会尝试抓取带有各种不同(甚至根本不存在)搜索参数值的海量 URL,进而导致访问量激增并浪费抓取预算。

何时使用 robots.txt

通常来说,你应当时常审视某些页面为何存在,以及它们对搜索引擎的抓取和索引是否具备实际价值。

根据你的网站类型和索引目标,适合限制抓取的页面通常包括:

  • URLs that contain query parameters such as:
    • 站内搜索结果页。
    • 由筛选或排序选项生成、且未纳入网站 URL 架构及 SEO 策略的多面导航(faceted navigation)URL。
    • 操作类 URL,例如“加入心愿单”或“加入购物车”。
  • 无需在搜索结果中曝光的用户账户页面。无论是否设置了 robots.txt 规则,都务必通过身份验证来保护隐私信息。
  • 与网站内容或页面渲染无关的 JavaScript 文件,比如各类埋点与统计脚本。
  • AI 训练爬虫或其他已知用途、且你想加以限制的网络机器人;不过搜索抓取和用户主动发起的访问应当区别对待。

下面我们来看具体场景中 robots.txt 的配置示例。

1. 屏蔽站内搜索页面

站内搜索结果往往会导致 Google 及其他搜索引擎产生大量不必要的抓取。如果这些结果无需出现在搜索结果中,建议限制其抓取范围。

在 WordPress 网站中,搜索通常对应参数“s”,URL 形式一般如下:

https://www.example.com/?s=google

Google 的 Gary Illyes 曾多次发出提醒,建议屏蔽“操作类”URL,因为它们会导致 Googlebot 陷入无休止的抓取,甚至不断拼凑各种组合去抓取根本不存在的 URL。

你可以通过在 robots.txt 中添加如下规则,阻止爬虫抓取此类 URL:

User-agent: *
Disallow: /*?s=
Disallow: /*?*&s=
  1. User-agent: * 为未匹配到特定规则组的爬虫提供了兜底规则。
  2. Disallow: /*?s= 匹配作为首个查询参数出现的 s;Disallow: /*?*&s= 则匹配跟在其他参数之后的该参数。两条路径均以 / 开头,以避免误匹配仅以 s 结尾的其他参数名。
  3. 参数名区分大小写,因此这些规则不会匹配 /?S=。建议在部署前仔细核对网站实际使用的参数顺序和拼写。

这张出自 2024 年原版指南的抓取统计截图表明,通过 robots.txt 屏蔽站内搜索后,Google 对不存在的搜索 URL 的抓取量明显减少。

Screenshot from crawl stats report
抓取统计报告截图

需要注意的是,即便页面已被抓取屏蔽,Google 仍有可能依据指向这些 URL 的外部链接将其编入索引。Robots.txt 无法保证页面完全从搜索结果中消失。如果你的目的是彻底移除索引,应当使用 noindex 标记,并允许 Google 抓取该页面以读取该指令。

2. 屏蔽多面导航 URL

多面导航是各类电商网站不可或缺的核心功能。在部分场景下,多面导航会被纳入 SEO 策略,用于在通用产品搜索中争取更好的排名。

例如 Zalando 针对“灰色 T 恤”等需求打造的颜色着陆页就是典型的例子。其核心原则是在保留高价值搜索着陆页可抓取性的同时,限制爬虫访问无意义的筛选组合。

然而多数情况下并非如此,筛选参数往往只是用来过滤商品,结果反而催生了大量内容重复的页面。

一个 URL 中可能包含多个筛选参数。你需要找出哪些参数会产生无谓的抓取负担;如果某些分面(facet)属于你的搜索策略的一部分,就不要直接屏蔽。Google 的分面导航指南对这两种情况做了明确区分。

举个例子,如果你的筛选条件包含“sortby”、“color”和“price”等参数,可以使用下面这组规则:

User-agent: *
Disallow: /*?sortby=
Disallow: /*?*&sortby=
Disallow: /*?color=
Disallow: /*?*&color=
Disallow: /*?price=
Disallow: /*?*&price=

这些成对的规则可以匹配位于首位或排在其他参数后面的目标参数。只添加你想限制的参数即可,配置完成后记得对需要抓取和需要屏蔽的 URL 都进行测试。

那 UTM 参数该如何处理?

UTM 参数主要用于数据追踪。

在下方的 Reddit 讨论中,John Mueller 谈到了外链上的追踪参数。请注意将这种情况与站内生成的筛选或搜索 URL 区分开来。

John Mueller on UTM parameters
John Mueller 谈 UTM 参数。作者截图,2026 年 11 月。

站内链接应始终指向你希望被抓取的 URL。至于是否要屏蔽某个参数,应取决于它在网站上的具体作用;仅仅因为带有查询字符串,并不构成屏蔽该页面的理由。

3. 屏蔽 PDF 网址

假设你的网站上有大量产品手册、宣传册或可供下载的白皮书等 PDF 文件,并且你不想让它们被搜索引擎抓取。

这里有一条简单的 robots.txt 规则,可以阻止搜索引擎爬虫访问这些文件:

User-agent: *
Disallow: /*.pdf$

“Disallow: /*.pdf$” 这一行告诉爬虫不要抓取任何以 .pdf 结尾的 URL。

通过使用 /*,该规则可以匹配网站上的任意路径,进而拦截所有以 .pdf 结尾的 URL 抓取。但它不会匹配 /guide.pdf?download=1 或大写的 .PDF 扩展名,这类变体需要单独测试。如果你希望 PDF 不出现在搜索结果中,建议使用 X-Robots-Tag: noindex HTTP 响应头,并允许搜索引擎抓取该文件,以便 Google 能够读取到该标头。

如果你的网站使用 WordPress,并且想屏蔽后台上传目录(uploads)中的 PDF 文件,可以使用以下规则:

User-agent: *
Disallow: /wp-content/uploads/*.pdf$
Allow: /wp-content/uploads/2024/09/allowed-document.pdf$

可以看到,这里的规则存在冲突。

当规则冲突时,更具体的规则享有优先权。也就是说,最后一行确保了只有位于“wp-content/uploads/2024/09/allowed-document.pdf”路径下的特定文件才被允许抓取。

4. 屏蔽整个目录

假设你有一个用于提交表单数据的 API 端点,表单代码中很可能包含类似 action=”/form/submissions/” 的属性。

如果爬虫顺着链接发现了 /form/submissions/ 这个路径,你可能会希望禁止抓取。通过下面这条规则即可实现:

User-agent: *
Disallow: /form/

在 Disallow 规则中指定目录后,爬虫就会忽略该目录下的所有页面,此时无需再使用通配符 (*),比如写成“/form/*”。

需要注意的是,在 Disallow 和 Allow 指令中必须始终使用相对路径,绝不能使用类似“https://www.example.com/form/”这样的绝对 URL。

编写规则时务必严谨,避免规则格式有误。例如,如果写成末尾不带斜杠的 /form,就会连同 /form-design-examples/ 一并匹配并拦截,而这可能正是你希望被收录的一篇博客文章。

延伸阅读:8 个常见的 Robots.txt 问题及其修复方法

5. 屏蔽用户账户相关的 URL

如果你运营的是电商网站,通常会有以“/myaccount/”开头的目录,例如“/myaccount/orders/”或“/myaccount/profile/”。

顶级页面“/myaccount/”是登录页,你希望它被搜索引擎收录供用户检索,但可能想禁止 Googlebot 抓取其下的子页面。

你可以结合使用 Disallow 和 Allow 规则,拦截“/myaccount/”目录下的所有内容(/myaccount/ 页面本身除外)。

User-agent: *
Disallow: /myaccount/
Allow: /myaccount/$

同样,由于 Google 遵循最精确匹配原则,它会屏蔽 /myaccount/ 目录下的所有内容,仅允许抓取 /myaccount/ 页面。

组合使用 Disallow 与 Allow 规则还有另一个应用场景:如果你的站内搜索位于 /search/ 目录下,希望该入口被发现和收录,但想屏蔽具体的搜索结果 URL:

User-agent: *
Disallow: /search/
Allow: /search/$

6. 屏蔽与页面渲染无关的 JavaScript 文件

每个网站都会用到 JavaScript,其中不少脚本与内容渲染毫无关系,比如数据追踪脚本或用于加载 AdSense 的脚本。

只有在确认脚本与待收录内容及链接的渲染无关后,再去屏蔽该脚本。你可以使用 URL 检查工具查看渲染后的页面;一旦屏蔽了公共打包文件(bundle)或存在渲染依赖的脚本,可能会导致 Google 无法抓取重要内容。此外,你服务器上的 robots.txt 文件也无法控制从其他域名加载的脚本。

下面这行示例规则演示了如何屏蔽包含追踪像素的 JavaScript 文件。

User-agent: *
Disallow: /assets/js/pixels.js

7. 管控 AI 爬虫与抓取工具

你可以屏蔽用于模型训练的爬虫,同时允许 AI 工具检索你的页面并展示给用户。关键在于为训练爬虫、搜索爬虫以及用户发起的 AI 爬虫分别配置不同的规则。

媒体出版商可能会屏蔽训练爬虫,防止自家报道在未署名的情况下被使用;电商品牌则可能乐见其成,期待商品曝光能带来搜索和购买转化。由于不同业务的利益诉求不同,开发者在设定这些规则时应与业务相关方共同评估。

屏蔽训练爬虫并不能保证你的内容完全不进入训练数据集,因为无视 robots.txt 的爬虫依然可以抓取;这也不会强制 AI 工具访问或引用你的网站,毕竟它们也可以从其他渠道获取相关信息。

SEJ 曾在 2026 年 1 月报道过 BuzzStream 的一项研究,调查显示受测的英美新闻网站中,有 79% 屏蔽了至少一种训练爬虫,71% 屏蔽了至少一种检索或实时搜索爬虫。由于检索功能有助于 AI 工具发现并引用你的页面,因此是否屏蔽此类爬虫,需要与拒绝模型训练区分开来单独决策。

屏蔽训练爬虫,放行搜索与用户爬虫

OpenAI 使用 OAI-SearchBot 在 ChatGPT 搜索回答中呈现网站结果,而 ChatGPT-User 则负责处理用户发起的访问请求。鉴于搜索权限与训练权限是独立的,你完全可以在屏蔽 GPTBot 的同时放行 OAI-SearchBot 和 ChatGPT-User。

该示例屏蔽了 OpenAI 和 Anthropic 的训练爬虫,但放行了两者的搜索爬虫、用户请求爬虫以及 Perplexity 的爬虫:

# Block model-training crawlers
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /

# Allow search and user-requested visits
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Disallow: /private/

在上述示例中,/private/ 表示被排除的目录。你可以将其替换为任何不希望这些爬虫抓取的路径。

大多数主流 AI 爬虫都会遵守 robots.txt 协议,包括 OpenAI 的 GPTBot 和 Anthropic 的 ClaudeBot。

用户主动发起的访问机制有所不同,因为部分厂商允许其爬虫在响应用户请求时绕过或直接无视 robots.txt。OpenAI 表示 robots.txt 可能不适用于 ChatGPT-User,Perplexity 也称 Perplexity-User 通常会忽略该协议。Anthropic 则表示其爬虫(包括 Claude-User)都会遵守 robots.txt。由于 robots.txt 仅用于告知爬虫可以抓取哪些 URL,若要保护私密内容,仍需配置身份验证。

响应用户请求的爬虫 是否遵守 robots.txt?
ChatGPT-User 否
Perplexity-User 否
Claude-User 是
Google-Agent 否
Google-GeminiNotebook 否
MistralAI-User 是
meta-externalfetcher 否
Amzn-User 否

至于 Copilot 网页访问、Grok、DeepSeek 以及 Meta Muse 的爬虫标识符和 robots.txt 策略,由于未在厂商的公开文档中查到相关说明,目前尚不明确。

限制 Google 与 Apple 用于模型训练

Google 和 Apple 提供了专用的 robots.txt 标识符,方便站长控制抓取内容的具体用途:

User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

Google-Extended 涵盖 Gemini 模型训练以及特定的接地(grounding)用途(即利用源内容辅助生成回答)。屏蔽该标识符并不会拦截 Googlebot,也不会影响常规 Google 搜索的收录。Applebot-Extended 则用于控制基础模型训练权限,同样不会阻断 Applebot 的搜索抓取。这两个标识符本身并不是独立的爬虫,因此单纯设置这些规则并不能减少抓取请求量。

修改文件后,建议检查服务器日志,确认防火墙已放行所需的爬虫。如果需要强制执行访问限制,请直接使用服务器或 CDN 的访问控制功能。

背景信息可参阅 SEJ 此前关于 AI 内容使用和 AI 聊天机器人流量的报道。

8. 指定站点地图(Sitemap)URL

在 robots.txt 文件中加入站点地图 URL,有助于搜索引擎轻松发现网站上的所有重要页面。只需添加一行指向站点地图具体位置的规则即可;如果有多个站点地图,可以逐行分别指定。

Sitemap: https://www.example.com/sitemap/articles.xml
Sitemap: https://www.example.com/sitemap/news.xml
Sitemap: https://www.example.com/sitemap/video.xml

与仅支持相对路径的 Allow 或 Disallow 规则不同,Sitemap 指令必须使用完整的绝对 URL 来标明站点地图所在位置。

请确保搜索引擎能够正常访问这些站点地图的 URL,并且语法格式正确,以免报错。

Sitemap fetch error in search console
Search Console 中的站点地图抓取错误。作者截图,2024 年 9 月。

9. 何时使用 Crawl-Delay(抓取延迟)

robots.txt 中的 crawl-delay 指令用于指定爬虫在抓取下一个页面前应等待的秒数。虽然 Googlebot 并不支持 crawl-delay 指令,但其他爬虫可能会遵守这一设置。

通过控制爬虫访问网站的频次,该指令有助于防止服务器因负载过高而瘫痪。

例如,若你允许 ClaudeBot 抓取内容用于 AI 训练,但又想避免服务器过载,就可以设置抓取延迟来拉大请求间隔。

User-agent: ClaudeBot
Crawl-delay: 60

这样会要求 ClaudeBot 每次请求间隔 60 秒。据 Anthropic 文档说明,该爬虫支持非标准的 Crawl-delay 扩展指令。只有在你打算允许其抓取时才建议使用该设置。需要注意的是,添加延迟并不能覆盖针对同一爬虫的 Disallow: / 规则;请检查完整的规则组,切勿直接照搬相互冲突的两套策略。

当然,也有些 AI 爬虫会完全无视抓取延迟指令。遇到这种情况,你可能需要借助 Web 应用防火墙来进行限速。

Robots.txt 故障排查

编写好 robots.txt 之后,你可以借助以下工具进行排查,确认语法是否正确,以及是否误封了重要 URL。

1. Google Search Console 中的 robots.txt 报告

更新 robots.txt 之后,一定要检查是否有报错,或者是否误封了资源、图片或某些网站版块等本应允许抓取的 URL。

前往 设置 > robots.txt 打开robots.txt 报告。该报告会展示 Google 抓取到的文件,以及所有解析警告或错误。做过关键改动后,你可以在此申请重新抓取。如需测试单个页面是否被阻止抓取,可以使用“网址检查”(URL Inspection)工具。

下方视频展示了该报告的使用流程;界面细节可能与当前版本略有出入。

2. Google Robots.txt 解析器

Google 的 robots.txt 解析器是一款开源的解析与匹配工具,基于 Google 爬虫内部所采用的实现方案构建。

在本地电脑上安装和运行它需要一定的技术门槛。但强烈建议花点时间按照页面说明操作,因为这样可以在把 robots.txt 文件上传到服务器之前,完全按照 Google 官方解析器的标准来验证改动。

集中管理 robots.txt

Robots.txt 规则仅对请求该文件所在的主机、协议和端口生效。如果你需要对某个子域名设置抓取限制,该子域名的 robots.txt URL 必须直接提供这些规则,或者重定向到包含规则的文件;它不会继承父域名的规则。

如果你的网站有十几个子域名,维护起来就会很棘手,因为这意味着你得分别维护一大堆 robots.txt 文件。

不过,你也可以把 robots.txt 文件部署在某个子域名上(例如 https://cdn.example.com/robots.txt),然后把 https://www.example.com/robots.txt 重定向过去。

反过来也一样,你可以只在根域名下托管它,然后将所有子域名重定向到根域名。

Google 会将获取到的规则应用于最初请求 robots.txt 的主机,而不会自动套用到存放共享文件的主机上。因此,请为你想要管理的每个主机分别配置重定向,并确保共享规则中的路径对所有主机都适用。

这种做法能大幅提升更新和维护效率,否则每个子域名都得配备单独的 robots.txt 文件。

Robots.txt 只是抓取管理的一环

合理优化的 robots.txt 文件对管理网站抓取配额至关重要。它能确保 Googlebot 等搜索引擎把精力放在有价值的页面上,避免在无关紧要的页面上浪费资源。

屏蔽合规爬虫可以减少不必要的请求。对于 AI 系统,需要区分“限制抓取”与“限制训练使用”,并通过日志来核实实际效果。Google-Extended 和 Applebot-Extended 并不会阻止爬虫本身的抓取。

请务必在修改后进行验证,以免引发意料之外的抓取问题。

不过也要记住,“抓取需求”和“服务承载力”同样重要。除了 robots.txt 规则之外,优质的内容、高效的页面加载速度以及健康的服务器状态依然不可或缺。

祝抓取顺利!

更多相关资源:


题图:BestForBest/Shutterstock

来源:Search Engine Journal · searchenginejournal.com

EVAOO 主站实战落地 · SEO 与 GEO 自然增长

看完情报?回到 EVAOO 主站直接上手工具与完整 SOP

返回 EVAOO 主站