💡 站外导读:随着AI智能体开始替真实用户浏览商品、提交表单并完成下单,传统防爬虫规则正面临“防不住恶意抓取、却误杀高价值代办流量”的两难。刚刚,Google正式发布《Allow Google-Agent traffic》官方技术指南,明确了托管在Google基础设施上的用户触发型智能体身份识别规范。本文结合官方原文拆解User-Agent标记、IP名单校验、RFC 9421密码学签名及六大CDN/WAF排障盲区。

一、 为什么 Google-Agent 与传统 Googlebot 必须区别对待?
据 Search Engine Roundtable 报道,Google 今日正式上线了名为《Allow Google-Agent traffic》的全新搜索帮助技术文档,专门指导站长和发布商如何在内容分发网络(CDN)、Web 应用防火墙(WAF)及防机器人服务中精准放行 Google-Agent 流量。
文档首先划清了概念边界:Google-Agent 是托管在 Google 基础设施上的智能体在响应真实用户请求、代为浏览网页并执行操作时所使用的标识。与全天候在后台默默抓库建索引的传统 Googlebot 截然不同,Google-Agent 属于“用户触发型抓取器(User-triggered fetcher)”。当用户在 AI 界面下达检索实时价格、填写预约表单、比对产品库存等指令时,该智能体才会发起实时访问——这意味着它背后往往站着一名带有明确消费或交互意图的高价值真实用户,且其行为通常不受传统 robots.txt 常规索引规则限制,若被 WAF 当作恶意机刷直接拦截,损失的将是实打实的业务转化。
二、 三层身份验真体系:从 UA/IP 到 Web Bot Auth (RFC 9421) 密码学签名
为了既放行合法智能体、又严防黑产通过篡改请求头伪造身份,Google 在指南中明确了从基础特征到密码学验签的三层识别机制:
- 1. HTTP User-Agent 特征串:所有来自
Google-Agent的请求均会在 HTTPUser-Agent请求头中包含" Google-Agent "标识(区分桌面端与移动端格式,归属 Google 用户触发型抓取器体系)。 - 2. 官方出口 IP 范围列表:真实请求必须源自 Google 公开维护的
user-triggered-agents.json文件中列明的官方出口 IP 地址段,站长切勿仅凭裸 UA 字符串放行。 - 3. 实验性 Web Bot Auth 密码学签名(RFC 9421):Google 正在测试通过
https://agent.bot.goog身份标识落地 Web Bot Auth 协议。参与实验的Google-Agent请求将严格遵循 HTTP 消息签名标准(RFC 9421),在请求头中附带以下加密凭据:Signature-Agent: g="https://agent.bot.goog",以及标签为g的Signature与Signature-Input请求头;用于验证签名的官方公钥目录托管于https://agent.bot.goog/.well-known/http-message-signatures-directory。
| 对比维度 | 传统 Googlebot | 通用 AI 训练爬虫(如 GPTBot 等) | Google-Agent(用户触发智能体) |
|---|---|---|---|
| 触发机制 | Google 后台周期性自动调度抓取索引 | 模型厂商离线周期性全网语料采集 | 由终端用户实时 Prompt 或任务指令直接触发 |
| 核心业务目的 | 网页收录、搜索排名与片段生成 | 预训练语料库构建(无直接导流诉求) | 替用户实时浏览、检索、填表、加购或执行动作 |
| robots.txt 约束 | 严格遵守 robots.txt 抓取规则 |
通常按站点声明遵守或屏蔽 | 属用户触发实时代理,通常绕过传统静态索引规则 |
| 身份验真方式 | UA + 反向 DNS (googlebot.com) + IP JSON |
UA + 各厂商公布 IP 段(或部分签名) | UA + user-triggered-agents.json + RFC 9421 公钥验签 |
| 推荐 WAF 策略 | 验证后默认放行并保障爬虫配额 | 视版权与算力成本决定限流或封禁 | 验真后豁免验证码/JS 质询并放行全链路交互 API |
三、 CDN 与防火墙实战配置:放行但不裸奔的安全边界
针对目前尚未内置自动识别 Google-Agent 开关的 CDN、WAF 或风控服务,Google 在指南中给出了标准化的四步自定义放行策略,旨在“保留现有安全防线的前提下剔除误杀”:
- 核对请求头:匹配条件确认 HTTP
User-Agent头包含Google-Agent。 - 核对 IP 来源:校验客户端源 IP 是否命中
user-triggered-agents.json中的最新网段。 - 校验加密签名(若携带):当请求包含
Signature-Agent: g="https://agent.bot.goog"时,依据 Web Bot Auth 规范使用官方公钥目录核验Signature与Signature-Input头。 - 豁免机器人质询:仅对通过上述多重核验的请求跳过滑块、CAPTCHA 或 JS 挑战,未验真流量仍按既有防线拦截。

四、 配好了依然被拦截?官方揭秘六大隐蔽排障死角
在实际运维中,不少站长反馈明明在 WAF 里加了白名单,Google-Agent 依然在执行复杂操作时报错失败。为此,Google 在文档末尾专门列出了六条极易被忽视的 Troubleshooting 排障清单:
- 1. 规则优先级覆盖(Rule priority):务必确保你的放行规则优先级高于(且先于执行)广谱云厂商或数据中心 ASN 封锁规则、托管 Bot 总开关以及全局“AI Agent 类别拦截”策略,防止白名单被底层高权重策略抢先否决。
- 2. 页面内交互式质询(Interactive challenges):除了取消 HTTP 403/429 拦截外,还必须确认放行规则同时跳过了 JS 挑战以及嵌入在站内搜索框、表单提交按钮上的独立前端 CAPTCHA 小组件。
- 3. 旅程深水区与底层 API 端点(In-journey actions and APIs):只放行首页 HTML 远远不够!智能体在替用户完成任务时必然会触发站内搜索、多维筛选、商品详情点击、加入购物车、预订提交以及底层的
XHR、GraphQL和api.*接口,白名单作用域必须覆盖全旅程路径。 - 4. 共享出口 IP 池频控误杀(Shared-IP rate limits):由于多名用户同时唤醒的
Google-Agent会共享同一批 Google 出口 IP 池,并发访问极易触发按单 IP 计算的 CC 防护或速率限制(Rate Limiting),必须对已验真的Google-AgentIP 豁免或放宽限流阈值。 - 5. IP 地址段自动同步(IP range updates):Google 云基础设施出口段会动态调整,切勿把 IP 写死在静态防火墙配置里,应通过自动化脚本定期拉取更新
user-triggered-agents.json。 - 6. 反向代理请求头透传(Proxy headers):检查前端负载均衡器(SLB/ALB)及中间层反向代理,确保它们没有剥离或改写原始客户端 IP、
User-Agent,尤其是用于密码学验签的Signature、Signature-Input与Signature-Agent请求头——只要代理链路吃掉其中任意一个头部,下游签名校验就会立即失效。
📝 站长洞察 (Editor’s Insight)
Google这份指南释放了一个极其明确的架构信号:互联网访问控制正在从“基于User-Agent字符串和IP段的粗放黑白名单”,迈向“基于RFC 9421密码学签名的Web Bot Auth零信任机器身份认证”。过去站长怕假冒Googlebot而宁可错杀,如今在agent.bot.goog公钥目录的加持下,CDN和WAF终于能以密码学精度区分“替用户掏钱下单的真智能体”与“白嫖数据的野鸡采集器”。建议独立站、SaaS与内容站运维立即审计自家Cloudflare或Nginx前置代理,重点检查两处:别让全局ASN屏蔽抢在白名单前生效,也别忘了放行GraphQL和结账API端点。
Google-Agent和Googlebot有什么区别?
Google-Agent是用户触发型智能体,通常在真实用户下达检索、比价、填表或下单等指令时才发起访问;Googlebot则是用于网页收录和搜索索引的传统抓取器,两者的触发机制、用途和放行策略都不同。
WAF怎么判断Google-Agent是真实请求?
官方建议不要只看User-Agent,而要结合三层校验:请求头中的Google-Agent标识、user-triggered-agents.json里的官方出口IP,以及可选的Web Bot Auth(RFC 9421)签名与公钥目录验证。
CDN放行Google-Agent时要注意什么?
应采用“先验真、后放行”的策略:核对UA、校验IP来源、验证签名(若有),并保留现有风控与限流机制,避免因单一规则放行导致安全边界被削弱。
