面向搜索引擎与 AI 爬虫的 Robots.txt 配置指南与最佳实践
Robots.txt Guide – Best Practices For Search & AI Crawlers via @sejournal, @vahandev
Search Engine Journal 发布针对传统搜索引擎与 AI 爬虫的 robots.txt 配置指南,详解如何优化抓取预算并精细化控制 AI 数据访问。
指南系统梳理了区分 AI 模型训练与 AI 搜索检索的 robots.txt 规则,为站点在保护内容与保留 AI 引用之间提供了落地参考。
robots.txt 文件一直是管理网络爬虫访问网站的核心工具。如今,除了传统爬虫,各类 AI 搜索工具和智能体也开始频繁访问网站,了解它们各自遵循哪些规则至关重要。
但如果不小心屏蔽了错误的漫游器,你的内容就可能被排除在大语言模型(LLM)或搜索引擎结果页(SERP)之外;反过来,如果对无关紧要的 URL 门户大开,大型网站的抓取预算又会被白白浪费。因此,配置时必须胸有成竹。
本指南将带你深入了解 robots.txt 的规则机制,帮你避免常见的 robots.txt 错误,在确保有价值内容可被正常访问的同时,减少不必要的抓取。
什么是 Robots.txt?
robots.txt 是一个存放在网站根目录下的纯文本文件,用于告知爬虫哪些内容可以抓取、哪些不能抓取。
下表汇总了常用的 robots.txt 指令,供快速参考。
| 指令 | 说明 |
|---|---|
| User-agent | 指定规则适用的爬虫名称,详见 User-Agent 标识符。使用通配符 * 可作为默认兜底规则,适用于没有专门指定规则组的爬虫。 |
| Disallow | 要求遵守规则的爬虫不要抓取指定的 URL 路径。 |
| Allow | 允许抓取特定 URL,即使其上级父目录已被 Disallow 屏蔽。 |
| Sitemap | 指明 XML 网站地图(Sitemap)的存放位置,方便搜索引擎抓取发现。 |
这张 2024 年的截图展示了 ikea.com 的 robots.txt 示例,其中包含多条规则。

请注意,robots.txt 并不支持完整的正则表达式,仅支持两个通配符:
- 星号(*):匹配零个或多个任意字符。
- 美元符号($):匹配 URL 的结尾。
此外还要注意,URL 路径匹配区分大小写(例如,“filter=” 和 “Filter=” 并不等价)。不过,指令名称和 User-Agent 匹配是不区分大小写的。
Robots.txt 的优先级顺序
在配置 robots.txt 文件时,必须了解当规则发生冲突时,搜索引擎会按什么优先级来判定执行哪条规则。
如果你为某个特定的漫游器单独写了一组规则,它就会优先遵循这组专属规则,而忽略 User-agent: * 下的通用规则。例如:
User-agent: *
Disallow: /private/
User-agent: Googlebot
Allow: /在这里,Googlebot 仍然可以抓取 /private/,因为它的专属规则允许抓取所有 URL。如果想对 Googlebot 屏蔽该目录,就需要在它的 Allow: / 下方添加 Disallow: /private/。
在适用的规则组内部,Google 会遵循以下两条核心判定原则:
1. 最精确匹配原则
匹配 URL 字符数更多的规则会被优先采用。例如:
User-agent: *
Disallow: /downloads/
Allow: /downloads/free/在这种情况下,“Allow: /downloads/free/” 比 “Disallow: /downloads/” 更具体,因为它直接指向了子目录。
Google 会允许抓取子目录 “/downloads/free/”,同时屏蔽 “/downloads/” 下的其他所有内容。
2. 最少限制原则
当多条规则的精确度完全相同时,例如:
User-agent: *
Disallow: /downloads/
Allow: /downloads/Google 会选择限制最少的那一条。这意味着 Google 将允许访问 /downloads/。
为什么 Robots.txt 对 SEO 如此重要?
使用 robots.txt 屏蔽不需要在搜索结果中曝光的页面(如隐私政策),可以减少无效抓取,帮助 Googlebot 把抓取预算集中在有价值的页面上(如核心产品或服务页面)。不过 Google 也提醒,除非网站已经达到了抓取上限,否则这并不会自动将抓取预算转移给其他页面。此外,这也有助于搜索引擎节省算力消耗,推动更绿色的可持续发展。
Google 在 2024 年针对操作型 URL 发出的提醒中,就特别强调了加入购物车和收藏夹等链接,指出它们会白白浪费爬虫和服务器资源。
假设你运营着一家拥有数十万页面的电商网站。网站上有些板块(例如筛选页)可能会产生近乎无限的版本。这些页面本身并无独特价值,内容基本雷同,却会衍生出无限的抓取空间,白白消耗你的服务器资源和 Googlebot 的抓取资源。这时就需要 robots.txt 出场了,它可以阻止搜索引擎爬虫抓取这些页面。
如果不做限制,Google 可能会尝试抓取带有各种不同(甚至根本不存在)搜索参数值的海量 URL,进而导致访问量激增并浪费抓取预算。
何时使用 robots.txt
通常来说,你应当时常审视某些页面为何存在,以及它们对搜索引擎的抓取和索引是否具备实际价值。
根据你的网站类型和索引目标,适合限制抓取的页面通常包括:
- URLs that contain query parameters such as:
- 站内搜索结果页。
- 由筛选或排序选项生成、且未纳入网站 URL 架构及 SEO 策略的多面导航(faceted navigation)URL。
- 操作类 URL,例如“加入心愿单”或“加入购物车”。
- 无需在搜索结果中曝光的用户账户页面。无论是否设置了 robots.txt 规则,都务必通过身份验证来保护隐私信息。
- 与网站内容或页面渲染无关的 JavaScript 文件,比如各类埋点与统计脚本。
- AI 训练爬虫或其他已知用途、且你想加以限制的网络机器人;不过搜索抓取和用户主动发起的访问应当区别对待。
下面我们来看具体场景中 robots.txt 的配置示例。
1. 屏蔽站内搜索页面
站内搜索结果往往会导致 Google 及其他搜索引擎产生大量不必要的抓取。如果这些结果无需出现在搜索结果中,建议限制其抓取范围。
在 WordPress 网站中,搜索通常对应参数“s”,URL 形式一般如下:
https://www.example.com/?s=googleGoogle 的 Gary Illyes 曾多次发出提醒,建议屏蔽“操作类”URL,因为它们会导致 Googlebot 陷入无休止的抓取,甚至不断拼凑各种组合去抓取根本不存在的 URL。
你可以通过在 robots.txt 中添加如下规则,阻止爬虫抓取此类 URL:
User-agent: *
Disallow: /*?s=
Disallow: /*?*&s=User-agent: *为未匹配到特定规则组的爬虫提供了兜底规则。Disallow: /*?s=匹配作为首个查询参数出现的s;Disallow: /*?*&s=则匹配跟在其他参数之后的该参数。两条路径均以/开头,以避免误匹配仅以s结尾的其他参数名。- 参数名区分大小写,因此这些规则不会匹配
/?S=。建议在部署前仔细核对网站实际使用的参数顺序和拼写。
这张出自 2024 年原版指南的抓取统计截图表明,通过 robots.txt 屏蔽站内搜索后,Google 对不存在的搜索 URL 的抓取量明显减少。

需要注意的是,即便页面已被抓取屏蔽,Google 仍有可能依据指向这些 URL 的外部链接将其编入索引。Robots.txt 无法保证页面完全从搜索结果中消失。如果你的目的是彻底移除索引,应当使用 noindex 标记,并允许 Google 抓取该页面以读取该指令。
2. 屏蔽多面导航 URL
多面导航是各类电商网站不可或缺的核心功能。在部分场景下,多面导航会被纳入 SEO 策略,用于在通用产品搜索中争取更好的排名。
例如 Zalando 针对“灰色 T 恤”等需求打造的颜色着陆页就是典型的例子。其核心原则是在保留高价值搜索着陆页可抓取性的同时,限制爬虫访问无意义的筛选组合。
然而多数情况下并非如此,筛选参数往往只是用来过滤商品,结果反而催生了大量内容重复的页面。
一个 URL 中可能包含多个筛选参数。你需要找出哪些参数会产生无谓的抓取负担;如果某些分面(facet)属于你的搜索策略的一部分,就不要直接屏蔽。Google 的分面导航指南对这两种情况做了明确区分。
举个例子,如果你的筛选条件包含“sortby”、“color”和“price”等参数,可以使用下面这组规则:
User-agent: *
Disallow: /*?sortby=
Disallow: /*?*&sortby=
Disallow: /*?color=
Disallow: /*?*&color=
Disallow: /*?price=
Disallow: /*?*&price=这些成对的规则可以匹配位于首位或排在其他参数后面的目标参数。只添加你想限制的参数即可,配置完成后记得对需要抓取和需要屏蔽的 URL 都进行测试。
那 UTM 参数该如何处理?
UTM 参数主要用于数据追踪。
在下方的 Reddit 讨论中,John Mueller 谈到了外链上的追踪参数。请注意将这种情况与站内生成的筛选或搜索 URL 区分开来。

站内链接应始终指向你希望被抓取的 URL。至于是否要屏蔽某个参数,应取决于它在网站上的具体作用;仅仅因为带有查询字符串,并不构成屏蔽该页面的理由。
3. 屏蔽 PDF 网址
假设你的网站上有大量产品手册、宣传册或可供下载的白皮书等 PDF 文件,并且你不想让它们被搜索引擎抓取。
这里有一条简单的 robots.txt 规则,可以阻止搜索引擎爬虫访问这些文件:
User-agent: *
Disallow: /*.pdf$“Disallow: /*.pdf$” 这一行告诉爬虫不要抓取任何以 .pdf 结尾的 URL。
通过使用 /*,该规则可以匹配网站上的任意路径,进而拦截所有以 .pdf 结尾的 URL 抓取。但它不会匹配 /guide.pdf?download=1 或大写的 .PDF 扩展名,这类变体需要单独测试。如果你希望 PDF 不出现在搜索结果中,建议使用 X-Robots-Tag: noindex HTTP 响应头,并允许搜索引擎抓取该文件,以便 Google 能够读取到该标头。
如果你的网站使用 WordPress,并且想屏蔽后台上传目录(uploads)中的 PDF 文件,可以使用以下规则:
User-agent: *
Disallow: /wp-content/uploads/*.pdf$
Allow: /wp-content/uploads/2024/09/allowed-document.pdf$可以看到,这里的规则存在冲突。
当规则冲突时,更具体的规则享有优先权。也就是说,最后一行确保了只有位于“wp-content/uploads/2024/09/allowed-document.pdf”路径下的特定文件才被允许抓取。
4. 屏蔽整个目录
假设你有一个用于提交表单数据的 API 端点,表单代码中很可能包含类似 action=”/form/submissions/” 的属性。
如果爬虫顺着链接发现了 /form/submissions/ 这个路径,你可能会希望禁止抓取。通过下面这条规则即可实现:
User-agent: *
Disallow: /form/在 Disallow 规则中指定目录后,爬虫就会忽略该目录下的所有页面,此时无需再使用通配符 (*),比如写成“/form/*”。
需要注意的是,在 Disallow 和 Allow 指令中必须始终使用相对路径,绝不能使用类似“https://www.example.com/form/”这样的绝对 URL。
编写规则时务必严谨,避免规则格式有误。例如,如果写成末尾不带斜杠的 /form,就会连同 /form-design-examples/ 一并匹配并拦截,而这可能正是你希望被收录的一篇博客文章。
延伸阅读:8 个常见的 Robots.txt 问题及其修复方法
5. 屏蔽用户账户相关的 URL
如果你运营的是电商网站,通常会有以“/myaccount/”开头的目录,例如“/myaccount/orders/”或“/myaccount/profile/”。
顶级页面“/myaccount/”是登录页,你希望它被搜索引擎收录供用户检索,但可能想禁止 Googlebot 抓取其下的子页面。
你可以结合使用 Disallow 和 Allow 规则,拦截“/myaccount/”目录下的所有内容(/myaccount/ 页面本身除外)。
User-agent: *
Disallow: /myaccount/
Allow: /myaccount/$
同样,由于 Google 遵循最精确匹配原则,它会屏蔽 /myaccount/ 目录下的所有内容,仅允许抓取 /myaccount/ 页面。
组合使用 Disallow 与 Allow 规则还有另一个应用场景:如果你的站内搜索位于 /search/ 目录下,希望该入口被发现和收录,但想屏蔽具体的搜索结果 URL:
User-agent: *
Disallow: /search/
Allow: /search/$
6. 屏蔽与页面渲染无关的 JavaScript 文件
每个网站都会用到 JavaScript,其中不少脚本与内容渲染毫无关系,比如数据追踪脚本或用于加载 AdSense 的脚本。
只有在确认脚本与待收录内容及链接的渲染无关后,再去屏蔽该脚本。你可以使用 URL 检查工具查看渲染后的页面;一旦屏蔽了公共打包文件(bundle)或存在渲染依赖的脚本,可能会导致 Google 无法抓取重要内容。此外,你服务器上的 robots.txt 文件也无法控制从其他域名加载的脚本。
下面这行示例规则演示了如何屏蔽包含追踪像素的 JavaScript 文件。
User-agent: *
Disallow: /assets/js/pixels.js7. 管控 AI 爬虫与抓取工具
你可以屏蔽用于模型训练的爬虫,同时允许 AI 工具检索你的页面并展示给用户。关键在于为训练爬虫、搜索爬虫以及用户发起的 AI 爬虫分别配置不同的规则。
媒体出版商可能会屏蔽训练爬虫,防止自家报道在未署名的情况下被使用;电商品牌则可能乐见其成,期待商品曝光能带来搜索和购买转化。由于不同业务的利益诉求不同,开发者在设定这些规则时应与业务相关方共同评估。
屏蔽训练爬虫并不能保证你的内容完全不进入训练数据集,因为无视 robots.txt 的爬虫依然可以抓取;这也不会强制 AI 工具访问或引用你的网站,毕竟它们也可以从其他渠道获取相关信息。
SEJ 曾在 2026 年 1 月报道过 BuzzStream 的一项研究,调查显示受测的英美新闻网站中,有 79% 屏蔽了至少一种训练爬虫,71% 屏蔽了至少一种检索或实时搜索爬虫。由于检索功能有助于 AI 工具发现并引用你的页面,因此是否屏蔽此类爬虫,需要与拒绝模型训练区分开来单独决策。
屏蔽训练爬虫,放行搜索与用户爬虫
OpenAI 使用 OAI-SearchBot 在 ChatGPT 搜索回答中呈现网站结果,而 ChatGPT-User 则负责处理用户发起的访问请求。鉴于搜索权限与训练权限是独立的,你完全可以在屏蔽 GPTBot 的同时放行 OAI-SearchBot 和 ChatGPT-User。
该示例屏蔽了 OpenAI 和 Anthropic 的训练爬虫,但放行了两者的搜索爬虫、用户请求爬虫以及 Perplexity 的爬虫:
# Block model-training crawlers
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /
# Allow search and user-requested visits
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Disallow: /private/在上述示例中,/private/ 表示被排除的目录。你可以将其替换为任何不希望这些爬虫抓取的路径。
大多数主流 AI 爬虫都会遵守 robots.txt 协议,包括 OpenAI 的 GPTBot 和 Anthropic 的 ClaudeBot。
用户主动发起的访问机制有所不同,因为部分厂商允许其爬虫在响应用户请求时绕过或直接无视 robots.txt。OpenAI 表示 robots.txt 可能不适用于 ChatGPT-User,Perplexity 也称 Perplexity-User 通常会忽略该协议。Anthropic 则表示其爬虫(包括 Claude-User)都会遵守 robots.txt。由于 robots.txt 仅用于告知爬虫可以抓取哪些 URL,若要保护私密内容,仍需配置身份验证。
| 响应用户请求的爬虫 | 是否遵守 robots.txt? |
|---|---|
| ChatGPT-User | 否 |
| Perplexity-User | 否 |
| Claude-User | 是 |
| Google-Agent | 否 |
| Google-GeminiNotebook | 否 |
| MistralAI-User | 是 |
| meta-externalfetcher | 否 |
| Amzn-User | 否 |
至于 Copilot 网页访问、Grok、DeepSeek 以及 Meta Muse 的爬虫标识符和 robots.txt 策略,由于未在厂商的公开文档中查到相关说明,目前尚不明确。
限制 Google 与 Apple 用于模型训练
Google 和 Apple 提供了专用的 robots.txt 标识符,方便站长控制抓取内容的具体用途:
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /Google-Extended 涵盖 Gemini 模型训练以及特定的接地(grounding)用途(即利用源内容辅助生成回答)。屏蔽该标识符并不会拦截 Googlebot,也不会影响常规 Google 搜索的收录。Applebot-Extended 则用于控制基础模型训练权限,同样不会阻断 Applebot 的搜索抓取。这两个标识符本身并不是独立的爬虫,因此单纯设置这些规则并不能减少抓取请求量。
修改文件后,建议检查服务器日志,确认防火墙已放行所需的爬虫。如果需要强制执行访问限制,请直接使用服务器或 CDN 的访问控制功能。
背景信息可参阅 SEJ 此前关于 AI 内容使用和 AI 聊天机器人流量的报道。
8. 指定站点地图(Sitemap)URL
在 robots.txt 文件中加入站点地图 URL,有助于搜索引擎轻松发现网站上的所有重要页面。只需添加一行指向站点地图具体位置的规则即可;如果有多个站点地图,可以逐行分别指定。
Sitemap: https://www.example.com/sitemap/articles.xml
Sitemap: https://www.example.com/sitemap/news.xml
Sitemap: https://www.example.com/sitemap/video.xml与仅支持相对路径的 Allow 或 Disallow 规则不同,Sitemap 指令必须使用完整的绝对 URL 来标明站点地图所在位置。
请确保搜索引擎能够正常访问这些站点地图的 URL,并且语法格式正确,以免报错。

9. 何时使用 Crawl-Delay(抓取延迟)
robots.txt 中的 crawl-delay 指令用于指定爬虫在抓取下一个页面前应等待的秒数。虽然 Googlebot 并不支持 crawl-delay 指令,但其他爬虫可能会遵守这一设置。
通过控制爬虫访问网站的频次,该指令有助于防止服务器因负载过高而瘫痪。
例如,若你允许 ClaudeBot 抓取内容用于 AI 训练,但又想避免服务器过载,就可以设置抓取延迟来拉大请求间隔。
User-agent: ClaudeBot
Crawl-delay: 60这样会要求 ClaudeBot 每次请求间隔 60 秒。据 Anthropic 文档说明,该爬虫支持非标准的 Crawl-delay 扩展指令。只有在你打算允许其抓取时才建议使用该设置。需要注意的是,添加延迟并不能覆盖针对同一爬虫的 Disallow: / 规则;请检查完整的规则组,切勿直接照搬相互冲突的两套策略。
当然,也有些 AI 爬虫会完全无视抓取延迟指令。遇到这种情况,你可能需要借助 Web 应用防火墙来进行限速。
Robots.txt 故障排查
编写好 robots.txt 之后,你可以借助以下工具进行排查,确认语法是否正确,以及是否误封了重要 URL。
1. Google Search Console 中的 robots.txt 报告
更新 robots.txt 之后,一定要检查是否有报错,或者是否误封了资源、图片或某些网站版块等本应允许抓取的 URL。
前往 设置 > robots.txt 打开robots.txt 报告。该报告会展示 Google 抓取到的文件,以及所有解析警告或错误。做过关键改动后,你可以在此申请重新抓取。如需测试单个页面是否被阻止抓取,可以使用“网址检查”(URL Inspection)工具。
下方视频展示了该报告的使用流程;界面细节可能与当前版本略有出入。
2. Google Robots.txt 解析器
Google 的 robots.txt 解析器是一款开源的解析与匹配工具,基于 Google 爬虫内部所采用的实现方案构建。
在本地电脑上安装和运行它需要一定的技术门槛。但强烈建议花点时间按照页面说明操作,因为这样可以在把 robots.txt 文件上传到服务器之前,完全按照 Google 官方解析器的标准来验证改动。
集中管理 robots.txt
Robots.txt 规则仅对请求该文件所在的主机、协议和端口生效。如果你需要对某个子域名设置抓取限制,该子域名的 robots.txt URL 必须直接提供这些规则,或者重定向到包含规则的文件;它不会继承父域名的规则。
如果你的网站有十几个子域名,维护起来就会很棘手,因为这意味着你得分别维护一大堆 robots.txt 文件。
不过,你也可以把 robots.txt 文件部署在某个子域名上(例如 https://cdn.example.com/robots.txt),然后把 https://www.example.com/robots.txt 重定向过去。
反过来也一样,你可以只在根域名下托管它,然后将所有子域名重定向到根域名。
Google 会将获取到的规则应用于最初请求 robots.txt 的主机,而不会自动套用到存放共享文件的主机上。因此,请为你想要管理的每个主机分别配置重定向,并确保共享规则中的路径对所有主机都适用。
这种做法能大幅提升更新和维护效率,否则每个子域名都得配备单独的 robots.txt 文件。
Robots.txt 只是抓取管理的一环
合理优化的 robots.txt 文件对管理网站抓取配额至关重要。它能确保 Googlebot 等搜索引擎把精力放在有价值的页面上,避免在无关紧要的页面上浪费资源。
屏蔽合规爬虫可以减少不必要的请求。对于 AI 系统,需要区分“限制抓取”与“限制训练使用”,并通过日志来核实实际效果。Google-Extended 和 Applebot-Extended 并不会阻止爬虫本身的抓取。
请务必在修改后进行验证,以免引发意料之外的抓取问题。
不过也要记住,“抓取需求”和“服务承载力”同样重要。除了 robots.txt 规则之外,优质的内容、高效的页面加载速度以及健康的服务器状态依然不可或缺。
祝抓取顺利!
更多相关资源:
- 抓取 Robots.txt 返回 500 错误可能会影响富媒体搜索结果
- 爬虫陷阱:成因、解决方案与防范——开发者深度解析
- 8 个常见的 Robots.txt 问题及修复方法
- 优化 SEO 抓取配额的 9 个实用技巧
- 可以安全忽略的 7 个 SEO 抓取工具警告与报错
题图:BestForBest/Shutterstock
来源:Search Engine Journal · searchenginejournal.com