网络安全与服务巨头 Cloudflare 的首席执行官马修·普林斯近日指出,互联网已经迎来了一个极其关键的历史性拐点。根据最新统计数据,目前互联网上的机器人自动流量已经正式超越了由人类活动产生的流量,成为网络访问的绝对主力。普林斯坦言,这一趋势的演进速度远超行业预期,原本预计在 2027 年底才会出现的流量逆转,在各类 AI 智能体的推动下提前爆发。

智能体催生流量格局剧变
根据 Cloudflare 监测平台的全球 HTTP 请求数据,目前由各类机器人、爬虫和 AI 智能体发起的自动访问请求已占到全球总量的 57.4%,而来自人类用户的访问请求则降至 42.6%。虽然统计数据仍有粗略之处,但这种自动化流量压倒人类流量的趋势已不可逆转。在普林斯看来,未来的互联网生态规则势必会发生颠覆性的改变,全面走向“付费抓取”的时代将不可避免。
为了应对这一变化,Cloudflare 在去年夏天就曾推出过一个服务平台,允许网站所有者对 AI 爬虫进行拦截并对数据抓取行为进行收费。不过,由于缺乏相应的配套生态,该项目此前并未在市场上获得广泛的关注与应用。
基础设施升级迎接新生态
面对 AI 流量的井喷,Cloudflare 目前正全力开发全新的协议与底层基础设施,以支撑未来庞大的付费抓取交易所需要的高频结算与流量控制。普林斯认为,无论是被称为机器人、爬虫还是智能体,它们本质上都是同一种自动化工具,网站所有者需要从根本上转变对抗思维,将其转化为新的商业变现机遇。
与此同时,传统互联网巨头也在加速将用户引向全新的 AI 交互模式。例如谷歌推出的 AI 概述和 AI 模式等功能,目前已经吸引了全球数十亿用户的使用,这进一步证明了用户获取信息的方式正在从传统的网页浏览向 AI 总结快速转变。
机器人流量真的已经超过人类了吗?
根据 Cloudflare 监测的全球 HTTP 请求数据,自动访问请求已占 57.4%,人类用户请求为 42.6%。文章指出这一趋势虽有统计粗略性,但方向已基本不可逆。
什么是互联网“付费抓取”?
“付费抓取”指网站允许 AI 爬虫、机器人或智能体抓取内容,但由网站方设置拦截、授权和收费机制,把原本免费的数据访问转为可计费服务。
Cloudflare 为此推出了什么方案?
Cloudflare 去年夏天推出过允许网站拦截 AI 爬虫并对抓取收费的平台,同时正开发新的协议与底层基础设施,以支持未来高频结算和流量控制。
“付费抓取”落地后,站点最先改什么?
先改访问分层:人类用户、合作爬虫、未知机器人分别定价或限额;再补齐身份认证、速率控制、内容许可协议和计费日志,确保抓取行为可识别、可计量、可追责。
网站如何避免被AI抓取掏空流量价值?
把“内容可见”与“内容可用”拆开:公开页保留曝光,深度数据、批量接口和高价值内容通过API、订阅或授权开放;同时用水印、指纹和异常访问检测降低无授权训练。
