Cloudflare 于 2026 年 7 月 1 日发布的行业报告显示，自动化网络流量的构成正在明显变化：截至 2026 年 6 月，AI 训练占已识别爬虫请求的 52%，而 2025 年春季为 22%；同时，兼用于搜索、智能代理和训练的混合型爬虫占比超过 36%。
对于运行合规网络数据采集的团队，重点不只是“机器人流量增长了”，而是流量目的、身份识别、速率控制以及对内容方的实际价值正在变得更加重要。
报告测量了什么
Cloudflare 分析了其网络观察到的流量，并按照用途对爬虫进行分类。报告标题为《内容独立日一年后：构建智能代理互联网的商业模式》，发布日期为 2026 年 7 月 1 日。报告还指出，当前互联网流量中非人类流量已经超过一半，爬虫用途正在快速向 AI 训练倾斜。
这些数据来自 Cloudflare 所观察的网络，并不代表所有网站、行业和地区都具有完全相同的比例。它更适合作为明确的趋势信号，而不是每个站点都适用的统一结论。
为什么爬虫用途很重要
两条自动请求在网络层可能非常相似，但对内容发布者产生的结果完全不同：
- 搜索爬虫可能索引页面并带来后续访问；
- 智能助手可能为用户触发的具体任务读取内容；
- 训练爬虫可能采集数据，却不产生即时引荐流量；
- 监控机器人可能只检查可用性；
- 未获授权的采集可能只增加成本，不带来许可或价值。
因此，真实识别非常重要。在合适场景中，运营方应使用准确的用户代理标识，提供稳定联系渠道，遵守 robots 指令，并避免通过伪装流量绕过网站偏好。
对代理数据采集的影响
代理可以为合法研究改善地域覆盖、可靠性和线路管理，但不应被用于隐藏未授权爬虫的身份或目的。负责任的代理流程应保留目标站理解和管理流量所需的控制信号。
团队应重点检查四个方面。
1. 权限和范围
记录采集为何得到授权、允许访问哪些域名和路径，以及可以保留哪些数据。内容公开可见不代表自动获得无限采集权。
2. 身份识别
在业务允许时，发送稳定且真实的用户代理标识。不要为了逃避检测而频繁更换身份字符串，并保留站点运营方可以报告问题的联系渠道。
3. 请求压力
按域名设置并发和速率上限，使用有限队列、退避和重试预算。大型代理池不能成为超过目标站可接受请求频率的工具。
4. 数据最小化
只采集既定目的所需的字段。日志中删除凭据、令牌和不必要的个人数据，并定义保存期限与删除流程。
衡量价值，而不是请求量
自动化流量快速增长后，单纯统计请求数越来越不能反映业务效果。可持续项目应监控：
- 每千次请求产生的有效结果；
- 首次成功率和重试率；
- p95 延迟和队列等待时间；
- 每条可用记录的带宽；
- 目标站错误及明确拒绝信号；
- 每条验证结果的成本；
- 准确研究覆盖等下游业务价值。
这些指标可以避免产生大量请求、却只获得少量有用结果的激进行为。
建立爬虫治理记录
每个自动化流程都应维护一份简洁记录：
- 业务负责人和技术负责人；
- 明确用途与合规依据；
- 已批准目标和禁止路径；
- 用户代理标识与联系信息；
- 地区路由和代理策略；
- 并发、速率、超时和重试上限；
- 数据字段、保存期限和删除规则；
- 事件升级与紧急停止流程。
当目标站修改规则或采集任务产生异常流量时，这份记录可以加快审计与处置。
正确响应拦截信号
403、429、CAPTCHA 或挑战页面突然增加时，应降低请求速度或暂停，而不是增加轮换并按原速继续。需要检查目标站是否修改访问规则、是否要求认证，以及流程是否仍在授权范围内。
robots 指令和站点运营方的明确要求都应作为策略输入。如果业务目标必须绕过这些规则才能完成，正确做法是重新设计或停止流程。
内容发布者下一步可能采取的措施
Cloudflare 报告表明，发布者正在寻求更清晰的机器人用途、抓取与引荐比例、内容使用情况。这可能带来更细化的控制、差异化访问策略，以及对爬虫透明度的更高要求。
数据团队应提前区分搜索、用户触发、训练、监控和研究流量，而不是把所有任务都隐藏在同一个匿名身份后面。
运营检查清单
- 采集前验证授权与目标规则。
- 在适用时使用真实、稳定的身份。
- 设置按域名区分的并发与速率上限。
- 尊重明确拒绝，并在压力信号出现时退避。
- 衡量有效价值，而非原始请求量。
- 只在规定期限内保存必要数据。
- 保留可以立即停止任务的事件通道。
- 目标或采集目的变化时重新审核策略。
常见问题
使用代理就能让采集合规吗？
不能。代理只是网络基础设施。是否合规取决于授权、用途、目标规则、请求行为和数据处理。
是否应该停止所有自动采集？
不需要。监控、研究、索引、广告验证和市场分析都可能是合法用途。报告进一步说明，运营必须透明、适度并可衡量。
所有自动请求都是 AI 爬虫吗？
不是。自动流量包括搜索、监控、助手、训练、安全和很多其他类别，准确分类十分重要。
建设已授权地区数据流程的团队，可以评估 98IP 住宅代理路由，同时执行严格的目标级限速和透明治理。
来源说明：Cloudflare，《内容独立日一年后：构建智能代理互联网的商业模式》，发布于 2026 年 7 月 1 日。本站公开文章按规则不提供外部研究链接。
