Cloudflare Crawl 开始执行内容用途指令：代理采集团队需要调整什么

Cloudflare 于 2026 年 8 月 31 日更新 Browser Rendering 的 crawl 接口，使采集任务开始执行 Content Signals 标准中的 use 指令。调用方可通过 contentUse 声明预期用途；当前文档列出 reference 与 full 两级，默认值为 full。如果目标网站公布的用途上限比请求声明更严格，任务会以 HTTP 400 拒绝。

这不是简单增加一个参数。使用住宅代理、数据中心代理或直连出口执行授权采集的团队，不能再把每个拒绝都归为“代理 IP 质量差”。结果可能只是网站政策与任务用途之间的确定性不匹配。

新机制实际比较什么

接口会比较两个独立声明：

• 目标网站公开的最大允许用途；
• 调用方为本次任务声明的预期用途。

当请求用途超过网站上限时，任务停止。对同一内容和等价条件更换代理出口，通常仍会得到同一政策结果。

请求被接受也不代表获得普遍采集许可。团队仍需遵守网站条款、robots 指令、合同限制、隐私义务、身份验证和速率限制。Content Signals 只是新增的机器可读政策输入，不能替代完整授权记录。

为代理故障模型增加“用途被拒绝”

许多系统只记录成功、超时、封禁或坏代理，这会触发错误补救。政策不匹配若被自动轮换几十个出口，只会浪费带宽并让合规流量显得具有规避性。

建议新增 content_use_denied，并与下列结果分开：

• 代理认证失败；
• 隧道或 DNS 失败；
• 传输超时；
• 目标站限流；
• 机器人挑战；
• 应用授权缺失；
• 解析或渲染失败。

只有传输故障应直接降低出口网络质量分。政策拒绝应进入权限与业务报告。

建立四层采集记录

身份

记录采集器名称、负责团队、User-Agent 版本及验证方式。观察记录中不得保存签名私钥、代理密码、Cookie 或访问令牌。

权限

记录获批业务目的、目标范围、条款复核、robots 决策、观测到的用途上限，以及任务声明的 contentUse。政策证据必须带时间，因为网站规则会变化。

传输

记录代理产品、网关、请求地区、地址族、会话模式和非敏感路线标识。传输只说明请求如何到达，不证明请求用途获准。

结果

记录 HTTP 结果、结构化错误类别、重试决定、传输字节、耗时及是否获得有用内容。不要把目标的政策决定改写成笼统代理错误。

安全上线流程

1. 盘点每个采集目的

将工作负载明确映射到搜索参考、市场研究、广告验证、模型训练或存档等具体用途。“抓取”不是可用于政策判断的充分描述。

2. 主动设置 contentUse

不要依赖宽松默认值。用途应来自已批准的工作负载定义，并进入代码审查与部署元数据。

3. 建立政策金丝雀

在自有或明确授权系统中公布受控的用途规则，发送有限请求，确认兼容任务通过、不兼容任务按预期停止。

4. 停止政策型重试

出现 content_use_denied 后，不应轮换出口、改变身份或提高并发。正确做法是缩小用途、取得许可或停止采集。

5. 分开评估供应商与政策接受率

只在获准测试目标上测量连接成功、TLS、首字节、吞吐与会话行为。不要因为目标拒绝用途而扣减代理供应商质量分。

6. 监控政策漂移

当目标用途上限变化、部署遗漏声明、业务目的与声明不符，或政策拒绝被错误重试时触发告警。

应跟踪的指标

• 首次传输成功率；
• 已授权有用结果率；
• 按目标与业务划分的用途拒绝率；
• 显式声明用途的任务占比；
• 被错误重试的政策拒绝数；
• 获准请求的 p50 与 p95 延迟；
• 每个已授权有用结果的字节与成本；
• 按 ASN、地区划分的出口集中度；
• 从政策变化到配置更新的时间。

当业务用途与发布方规则冲突时，高请求成功率并不是正确目标。

对代理采购的影响

采购方应确认平台能否把工作负载元数据绑定到路线，并在不暴露凭据的情况下保留政策结果。实用能力包括项目级网关、明确会话边界、有上限的重试、地区白名单、结构化错误导出与可审计配置变更。

代理网络无法把被拒绝的用途变成许可。网络多样性仍适用于获准的本地化、可靠性测试和区域研究，但权限判断必须先于路线优化。

上线检查清单

• 为每个采集器定义用途与负责人。
• 显式配置预期内容用途。
• 保存目标当前机器可读政策。
• 分开记录身份、权限、传输和结果。
• 政策拒绝后停止自动轮换。
• 仅使用自有或明确授权测试目标。
• 诊断记录不得包含凭据与个人数据。
• 在获准且受控的业务上比较供应商。
• 复核重试预算、速率限制与地区范围。
• 政策或应用变化后重新验证。

常见问题

HTTP 400 是否表示代理失败？

不一定。新流程中它可能代表用途不匹配。更换路线前应检查结构化响应和任务声明。

是否应该自动改成 reference？

只有实际获批业务确实属于参考用途时才可以。只改标签却继续更广用途，会造成不真实声明。

用途兼容是否覆盖 robots.txt？

不会。用途只是一个条件，网站条款、robots、身份验证、隐私与限流仍然适用。

能否通过轮换住宅代理绕过决定？

不应这样做。用新出口重复被拒任务既浪费流量，也可能表现为规避行为。

采购方先测试什么？

先用授权金丝雀验证结构化政策错误、重试停止、会话清理和成本核算，再使用代理池集中度稽核与住宅代理会话粘性测试独立评估路线质量。

合规说明

只在获得授权的系统与内容上运行采集器，遵守网站条款、robots 指令、内容用途信号、隐私义务和速率限制。代理是传输工具，不是隐藏责任或推翻发布方决定的方法。

来源说明：Cloudflare，更新日志“Crawl endpoint now respects the Content Signals use directive”，发布于 2026 年 8 月 31 日。来源 URL 仅保存在 98IP 内部运营记录中。