💡 站外导读:大模型训练爬虫与AI实时检索机器人正成倍挤占源站带宽,而粗暴封杀又会直接让品牌从AI答案中消失。Search Engine Journal技术负责人发布2026年新版Robots.txt全景指南,系统梳理规则优先级“最长最宽松”双法则、8款用户触发AI爬虫的协议遵守实测,以及训练与检索分流、WordPress参数拦截和多子域集中托管等9类生产级配置实战。
一、别把“拒训”和“拒搜”写混了:AI 爬虫三层分流与 8 大实时 Bot 协议实测
在生成式搜索(GEO)与传统 SEO 并行的今天,网站运维面临的核心矛盾早已不是“要不要放行爬虫”,而是如何精准区分三类截然不同的自动化访客:大模型离线训练爬虫、AI 搜索索引爬虫以及由真实用户对话触发的实时抓取器(User-Requested Bots)。根据 Search Engine Journal 引用的 BuzzStream 2026 年 1 月行业调查,在受访的美国与英国新闻出版站点中,高达 79% 已屏蔽至少一个模型训练爬虫,同时另有 71% 连带屏蔽了至少一个实时检索爬虫——许多站点在“防白嫖训练”时一刀切封死所有 AI UA,结果导致自身在问答引用中的曝光率断崖式下跌。
更棘手的是协议约束力的现实边界。OpenAI 已将模型训练爬虫 GPTBot 与搜索索引爬虫 OAI-SearchBot 拆分为独立标识,允许站长在封杀 GPTBot 的同时放行 OAI-SearchBot;Google 与 Anthropic 也分别通过 Google-Extended 与 Applebot-Extended 这类控制令牌(Token),让站长在不影响 Googlebot 或 Applebot 正常检索收录的前提下,单独声明拒绝内容用于基础模型训练与部分 Grounding 答案生成。但需要注意的是,这两枚扩展令牌本身并不是独立爬虫进程,配置屏蔽后并不会物理减少源站接收到的常规抓取请求数。
而对于用户发出一句提问后由 AI 临时回源抓网页的“用户触发型爬虫”,各大厂商对 robots.txt 的尊重程度存在显著分化。OpenAI 与 Perplexity 均已明确声明,当受终端用户实时请求驱动时,ChatGPT-User 与 Perplexity-User 可能会绕过或普遍忽略 robots.txt 限制;相比之下,Anthropic 承诺包含 Claude-User 在内的全系爬虫均遵守规则,Mistral AI 的 MistralAI-User 亦保持合规。至于 Copilot 浏览器访问、Grok、DeepSeek 以及 Meta Muse 的具体抓取令牌与遵循政策,在各家公开文档中仍缺乏透明可验证声明。
# 精准分流示例:封锁离线训练爬虫,放行 AI 搜索与实时引用检索(隔离 /private/)
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Disallow: /private/
# 独立关闭 Google Gemini 与 Apple 基础模型训练授权(不影响传统搜索收录)
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
二、规则优先级的暗坑:孤立 User-agent 覆盖陷阱与“最长最宽松”裁决律
在真实生产故障中,大量“明明写了全局屏蔽却依然被抓取”或“核心目录意外失联”的事故,源自对 robots.txt 优先级裁决模型的误解。首先需要牢记的是指令组隔离原则:一旦你在文件中为特定爬虫(如 Googlebot)开辟了独立的 User-agent 规则块,该爬虫就会完全忽略 User-agent: * 下的所有通用限制。例如全局组写了 Disallow: /private/,而下方 Googlebot 组只写了 Allow: /,那么 Googlebot 反而能够长驱直入抓取 /private/ 目录——你必须在专用组内部显式补齐对应的 Disallow 规则。
其次,robots.txt 并不支持完整正则表达式,仅识别两个基础通配符:*(匹配零个或多个任意字符)与 $(严格锚定 URL 末尾)。同时,User-agent 与指令名不区分大小写,但 URL 路径与查询参数名严格区分大小写——屏蔽 /?s= 无法拦截 /?S=,拦截 /*.pdf$ 也放过了带有下载参数的 /guide.pdf?download=1 或大写后缀 .PDF。
当同一规则组内出现多条规则同时命中某个 URL 时,Google 严格遵循“最具体优先(Most Specific)”与“最宽松兜底(Least Restrictive)”两项顺序裁决:如果同时配置了 Disallow: /downloads/(11 字符)与 Allow: /downloads/free/(16 字符),后者路径匹配字符更长、语义更具体,因此子目录会被放行而同级目录被封锁;倘若两条冲突规则的长度完全相等(例如针对同一路径 /downloads/ 同时出现 Disallow 与 Allow),搜索引擎将采用最宽松策略,最终放行该路径。

| 爬虫 / 控制令牌标识 | 所属平台与职能定位 | 是否遵守 robots.txt | 推荐生产治理动作 |
|---|---|---|---|
| GPTBot / ClaudeBot | OpenAI / Anthropic 模型离线训练采集 | 遵循(公开承诺) | 按版权与内容策略决定 Disallow: / 或 Crawl-delay: 60 |
| OAI-SearchBot / Claude-SearchBot | ChatGPT / Claude 搜索索引与引用构建 | 遵循 | 建议放行并仅屏蔽 /private/ 等敏感路径以保留 GEO 引流 |
| ChatGPT-User / Perplexity-User | 终端用户发起提问后的实时网页抓取 | 不保证(官方称可绕过/忽略) | 隐私/付费墙目录须靠鉴权与 WAF 拦截,勿仅依赖 robots.txt |
| Claude-User / MistralAI-User | Anthropic / Mistral 用户触发实时抓取 | 遵循(官方明确遵守) | 与搜索机器人共用放行策略,结合日志监控抓取频次 |
| Google-Agent / GeminiNotebook | Google 智能体任务与 NotebookLM 实时访问 | 不遵守(按用户指令行为处理) | 需通过访问控制与 Google-Agent 官方放行/限流策略管理 |
| Google-Extended / Applebot-Extended | Gemini / Apple 基础模型训练授权令牌 | 非独立爬虫(遵循使用限制) | 屏蔽可退出训练与部分 Grounding,不减少常规搜索抓取请求 |
三、9 大高频场景实战:从 WordPress 搜索防刷、分面参数到多子域集中管控
对于拥有数万甚至数十万页面的电商站与内容站,robots.txt 最立竿见影的工程价值在于斩断“无限抓取空间(Infinite Crawl Space)”。Google 搜索专家 Gary Illyes 曾多次警示,未受管控的站内搜索页(如 WordPress 的 /?s=)、加入购物车与心愿单等 Action URL,以及电商平台按价格、颜色、排序自由排列组合的分面导航参数(Faceted Navigation),会让爬虫在根本不存在真实商品组合的海量 URL 上空转,进而触发服务器负载飙升并消耗抓取容量。
在编写参数拦截规则时,推荐使用“首参数 + 后续参数”成对写法,例如同时声明 Disallow: /*?s= 与 Disallow: /*?*&s=,既能精准命中 ?s= 也能捕获 ?cat=1&s=,同时避免误伤其他以字母 s 结尾的参数名。但对于外链带来的 utm_ 等营销追踪参数,Google 工程师 John Mueller 在 Reddit 交流中特别提醒站长将其与站内过滤参数区分对待——保持内部链接指向规范 URL 远比盲目用 robots.txt 封死一切带问号路径更安全,因为查询字符串的存在本身并不等于页面没有索引价值。
此外,对于多子域大型站点而言,robots.txt 严格绑定“协议 + 主机名 + 端口”,主域规则不会自动继承给子域名。工程团队可以通过在主域或独立 CDN(如 cdn.example.com/robots.txt)集中托管一份配置文件,并让各个业务子域的 /robots.txt 通过 HTTP 重定向指向该共享文件(Google 会将拉取到的规则直接作用于发起请求的原主机名,但前提是共享路径结构适用于所有跳转子域),从而摆脱同时维护数十份文本文件的运维噩梦。
# 1. 精准拦截 WordPress 站内搜索与电商多维分面排序参数
User-agent: *
Disallow: /*?s=
Disallow: /*?*&s=
Disallow: /*?sortby=
Disallow: /*?*&sortby=
Disallow: /*?color=
Disallow: /*?*&color=
Disallow: /*?price=
Disallow: /*?*&price=
# 2. 放行账户登录入口或搜索落地页,封锁子路由与上传区冗余 PDF
Disallow: /myaccount/
Allow: /myaccount/$
Disallow: /wp-content/uploads/*.pdf$
Allow: /wp-content/uploads/2024/09/allowed-document.pdf$
# 3. 避免前缀误杀(必须带尾部斜杠),并针对支持的训练爬虫限速
Disallow: /form/
User-agent: ClaudeBot
Crawl-delay: 60
Sitemap: https://www.example.com/sitemap/articles.xml
四、边界防线与排障验证:为什么屏蔽收录必须靠 noindex 与 WAF 防火墙
站长必须清醒认识一个致命误区:robots.txt 只是一份面向合规爬虫的“君子协议”,既不能用来彻底清除已收录页面,也不能充当安全访问控制。如果某个页面已被外部链接广泛引用,即使你在 robots.txt 中封禁了抓取,Google 依然可能仅凭锚文本与外部信号将其建入索引,且由于无法抓取页面内容而无法读取页面内的 noindex 元标签。因此,凡是要求彻底退场搜索结果的网页或 PDF 文档,正确做法是保持其可被抓取,并通过 HTML Meta 或 HTTP 响应头返回 X-Robots-Tag: noindex。
同样道理,面向登录后台、表单提交接口(如 /form/submissions/)及敏感客户数据,绝不可指望靠 Disallow 隐藏路径,必须配合严格的身份认证与服务端鉴权。面对无视 Crawl-delay: 60(注:Googlebot 本身忽略 Crawl-delay,而 Anthropic 文档确认 ClaudeBot 支持且切忌将其与 Disallow: / 同时混用)或伪造 User-Agent 的恶意 AI 采集器,也必须在 CDN 或 Web 应用防火墙(WAF)层实施速率限制与规则拦截。
每次上线修改前,务必执行双层校验:先利用 Google 开源的官方 robots.txt 解析器在本地进行规则匹配测试,再通过 Google Search Console 的“设置 > robots.txt”报告及“网址检查(URL Inspection)”工具确认未意外屏蔽渲染所需的共享 JS 脚本或重要媒体资源,并持续比对服务器访问日志验证各路 AI 爬虫的实际响应行为。

📝 站长洞察 (Editor’s Insight)
这份2026新版指南击中了当前AI时代技术SEO最容易踩坑的盲区:很多站点为了防大模型白嫖语料,在robots.txt里一刀切封杀AI标识,却误把OAI-SearchBot与Claude-SearchBot一并挡在门外,断送了GEO时代的品牌引用入口。79%新闻站封训练、71%连带封检索的调研数据也反映出粗放惯性——真正专业的架构师应当将“训练授权”、“搜索引用”与“用户实时抓取”拆成三层规则,并用WAF与身份鉴权兜底那些公开声明不走robots.txt的User-Requested爬虫,同时清理/?s=与分面参数抓取黑洞。
robots.txt如何区分训练爬虫和实时检索Bot?
可按用途分三层管理:离线训练爬虫、AI搜索索引爬虫、用户触发的实时抓取器。文中示例是封锁GPTBot等训练爬虫,同时放行OAI-SearchBot、ChatGPT-User等检索与引用类Bot,避免误伤AI答案曝光。
为什么写了全局Disallow,Googlebot还是能抓取?
因为robots.txt存在User-agent组隔离:一旦为Googlebot单独建组,它会忽略User-agent:*下的通用限制。若专用组里没显式写Disallow,对应目录就可能被放行,必须在该组内补齐规则。
robots.txt支持正则表达式吗?
不支持完整正则,只识别*和$两种通配符。且路径与查询参数大小写敏感,所以像/?s=、/?S=、/*.pdf$这类规则都可能因大小写或参数形式不同而漏拦,需要按实际URL精确配置。
训练爬虫和检索Bot该怎么分流?
建议按用途拆成三层:训练抓取、实时检索、传统搜索分别设规则。训练类优先限速或拒绝,检索类可放行关键内容,搜索类保持基础可索引,避免一刀切误伤AI答案曝光。
生产环境里robots规则怎么避免误封?
用“最长、最宽松”原则处理冲突规则,先按路径和参数精确匹配,再做子域隔离与日志回看。对WordPress等动态站点,重点拦截低价值参数页,保留核心内容页可抓取。
