Cloudflare 9 月 15 日调整 AI 机器人默认策略：按意图审计代理自动化
Cloudflare 表示，自 2026 年 9 月 15 日起，新接入的域名将获得按 AI 流量行为区分的默认设置：Search 默认允许；在展示广告的页面上，Agent 与 Training 默认阻止。对于同时承担多种用途的爬虫，最严格的适用策略可能生效。
对获准开展网页采集、市场研究、广告验证或浏览器自动化的团队而言，正确做法不是寻找绕过手段，而是停止把所有自动请求当成同一类任务。代理只改变出口路径，不会改变请求用途、创造访问许可，也不会覆盖网站策略。
先看清公告边界
新默认值面向生效日起新接入 Cloudflare 的域名，并不等于所有现有站点会同时阻止所有自动化。站点所有者仍可选择设置，实际结果取决于区域配置、页面类型与流量分类。
- Search：为发现与搜索引流建立索引。
- Agent：代表用户实时执行操作。
- Training：为模型训练或微调收集内容。
同一个爬虫可能具备多种用途。Cloudflare 明确说明，多用途爬虫可能由最严格的适用设置决定结果。因此，一次抓取成功不能代表长期许可；不同主机名、页面、会话状态、时间和站点配置都可能产生不同结果。
为每项任务建立意图登记表
不要只写“数据采集”。应为每项自动化记录：
任务别名
业务目的
声明的行为类别
数据所有者
授权依据
目标范围
允许市场
请求方法
身份或用户代理
代理线路类型
保留期限
停止条件价格监测、搜索索引、广告渲染检查和用户发起的浏览器助手，其授权、证据与失败后果完全不同。若一项任务混合 Search 与 Training，或混合实时操作与被动测量，应尽量拆分，并分别应用限速、保留与审批策略。
建立直连与代理成对基线
只测试自有或明确获准的目标。政策允许时，先运行小规模直连对照，再在不改变浏览器版本、请求头和测试数据的前提下切换到目标代理路线。
每次记录：
- 最终状态与重定向链；
- 正文摘要值与业务完成标记；
- 挑战页、拦截页或同意页面；
- 申请市场与观测市场；
- 浏览器及自动化版本；
- 线路类型与脱敏会话别名；
- 首字节和有效结果耗时；
- 首次尝试以及有界重试结果；
- 获准保存时的截图或网络轨迹。
直连成功而代理失败，只能证明路线相关差异，不能直接证明故意封锁。两者在同一步骤失败，应先检查页面策略、应用状态或共享客户端配置。
分开测试页面类型
由于新默认策略区分展示广告的页面，不能只测试首页。建立一个小型授权矩阵：
- 无广告的信息页；
- 有广告的内容页；
- 无需登录的公开测试页；
- 经授权的登录后测试页；
- 依赖浏览器执行后加载内容的页面；
- 仅用于网络对照的确定性端点。
把页面类别作为证据字段。除非确有必要且获得批准，不保存广告标识符、Cookie 或个人数据。目标方提供 API、Feed 或专用测试环境时，优先使用它们。
四层验证，不能只看 HTTP 200
1. 网络路径
确认 DNS 模式、代理认证、TLS 校验、地址族与目标可达性。SOCKS5 本地解析和远端解析必须分开测试，不得通过关闭证书验证把传输失败变成“通过”。
2. 策略结果
区分允许、明确拒绝、限速、挑战、同意门槛与未知中间页。能用脱敏指纹证明时，不必保存完整页面。
3. 业务完成
校验任务真正需要的元素、结构化值、渲染状态或流程完成标记。状态为 200 的挑战页不是有效成功。
4. 数据完整性
验证结构、语言、货币、新鲜度、分页和正文摘要值。区域代理导致的本地化变化应成为明确断言，而不是无法解释的偏差。
把区域代理用作观测对照
Global、North America、Europe 与 APAC 只选择业务和授权确有需要的市场，并保持低并发和一致测试顺序。重点比较分布，而不是寻找某个“能过”的出口：
- 声明意图与页面类别对应的策略结果；
- 各市场、各线路的有效结果率；
- 挑战率与限速率；
- 本地化正确率；
- 每个有效结果的重试次数；
- p50 与 p95 完成耗时；
- 意外出口轮换；
- 每条有效记录消耗的请求与字节。
某个市场失败时应暂停该路线并调查。不断轮换住宅 IP 直到通过，既可能构成规避，也会破坏诊断证据。
遇到策略拒绝时的安全流程
- 停止受影响任务或页面类别；
- 保存最小化、脱敏的结果和配置清单；
- 复核声明用途、授权和站点条款；
- 查找官方 API、Feed 或所有者提供的访问方式；
- 需要时通过批准渠道联系数据所有者；
- 获得政策与技术负责人批准后再恢复。
不得隐藏自动化身份、重放挑战、修改指纹或轮换住宅出口强行访问。代理服务是基础设施，不是同意书。
9 月 15 日前检查清单
- [ ] 每项自动化都有一个主要声明用途。
- [ ] 混合 Search、Agent、Training 的任务已拆分或审查。
- [ ] 授权、负责人、市场范围与保留期已记录。
- [ ] 直连与代理对照使用相同客户端设置。
- [ ] 广告页与非广告页分开测试。
- [ ] HTTP 状态、策略结果、业务完成与完整性分栏记录。
- [ ] 浏览器、代理、DNS 与地址族版本可追溯。
- [ ] 区域测试使用获准市场和有界并发。
- [ ] 挑战或拒绝会停止任务，而不是触发线路轮换。
- [ ] 证据不含密钥、Cookie 与不必要的个人数据。
- [ ] 已准备 API 或所有者批准的替代路径。
- [ ] 告警使用有效结果，而不是原始请求成功率。
常见问题
9 月 15 日后所有 Cloudflare 网站都会阻止代理吗？
不会。公告针对新接入域名的 AI 流量默认策略，具体区域配置、页面条件和网站所有者选择仍会影响结果。
更换代理地区能把 Training 变成 Search 吗？
不能。用途取决于自动化做什么以及数据如何使用，网络位置不会改变意图或授权。
HTTP 403 能直接证明命中了哪条策略吗？
不能。它是拒绝信号，但不能单独确定规则来源。应使用所有者提供的信息和获准的观测方式，而不是为绕过控制去逆向规则。
遇到挑战页可以换住宅 IP 重试吗？
不应这样做。先停止、分类并复核许可与批准的访问方法。地址轮换可能违反策略，也会让事故证据失真。
合规与安全运行
仅使用获准的目标、身份、数据与市场。遵守 robots 指令、访问控制、隐私义务、知识产权、平台条款和速率限制。按要求披露自动化，最小化保留证据，绝不能把代理当成隐藏违规行为的工具。
继续阅读代理响应完整性测试、代理空闲超时与长连接测试和 Node.js 代理客户端金丝雀方案。
来源说明：Cloudflare《Your site, your rules: new AI traffic options for all customers》，2026 年 7 月 1 日；Cloudflare 产品更新日志，复核于 2026 年 9 月 13 日。
