Cloudflare 推出 BotBase for Operators：机器人提交可追踪、可编辑、可验证
Cloudflare 于 2026 年 8 月 28 日推出 BotBase for Operators，让机器人与智能代理运营方可以在控制台中提交、追踪并更新自己的身份记录。对于运行获准网页采集、搜索索引、监测服务或用户驱动型代理的团队，这项变化的重要性在于：机器人登记不再只是一次性表单，而成为需要持续维护的运营资产。
新流程并不等于获得全网抓取许可。网站所有者仍然决定是否允许自动访问。但它提高了合规运营方的标准：流量应当能够被识别，行为和内容用途应当准确描述，验证证据也应持续有效。
本次更新带来了什么
提交历史与明确状态
运营方现在可以看到记录是等待审核、已接受还是被拒绝。被拒绝时会显示原因和可执行的修正方向；已接受记录如果被调整分类，也能看到变更结果。
这不仅是界面优化。状态历史可以成为发布评审和事故排查的证据：团队能够回答身份何时提交、采用什么验证方式，以及哪次基础设施变化导致资料过期。
已有记录可以编辑，待审记录可以取消
当 User-Agent、公开 IP 范围、反向 DNS 名称或认证方式变化时，运营方无需重新创建一份完全独立的记录。仍在等待审核的提交也可以取消。
编辑应纳入变更管理：关联触发变化的发布版本，上线前复核，切换流量后重新验证，并保留回滚方案。
行为、内容用途与运营角色分别声明
新表单要求分别说明：
- 机器人做什么：例如搜索索引、代表用户执行操作、数据采集、训练或 SEO 支持；
- 如何使用读取到的内容：例如搜索、引用或模型训练；
- 谁在驱动请求：运营方直接发起，还是作为中间平台承载其他产品的请求。
这种拆分比笼统的“爬虫”标签更准确。为用户即时获取一页内容，与长期保存大规模语料用于训练，在权限、数据最小化和站点价值交换上都不是同一件事。
身份验证已成为工程依赖
Cloudflare 表示，重建后的审核流程会自动检查是否重复提交、User-Agent 模式是否足够具体，以及声明的验证方式是否真实有效。根据方式不同，系统可能读取公开 IP 列表、核验反向 DNS，或验证 Web Bot Auth 签名。
因此，爬虫身份也需要负责人、测试和监控。建议建立身份清单，至少包含：
- 稳定的机器人名称与责任运营方；
- 范围明确的 User-Agent 模式；
- 声明的行为和内容用途；
- 直接运营方或中间平台角色；
- 验证方式及其公开证据；
- 生产出口范围或签名密钥引用；
- 最近验证时间与下次复核时间；
- 变更负责人、回滚方案和事故联系人。
清单中不得保存代理密码、私钥、Cookie 或访问令牌，只保存受保护机密的引用。
使用代理的爬虫应如何处理身份
代理可以为合法采集提供区域路由、容量隔离和会话控制，但不能让声明的身份变得失真。
如果采用公开 IP 范围验证，应把声明范围与每条生产出口实际使用的地址进行核对。高度动态的住宅代理池通常不适合承诺“小范围静态白名单”。如果使用反向 DNS，应持续检查正向和反向解析一致性；如果使用签名请求，则要保护签名密钥，并确认每条代理路径都保留必要的头字段。
把身份与传输拆成两个控制面：
| 控制面 | 需要回答的问题 |
|---|---|
| 身份 | 谁运营、做什么、如何使用内容、如何验证？ |
| 传输 | 哪个网关、区域、地址族、会话模式和出口承载请求？ |
| 授权 | 站点及相关政策是否允许这一用途、路径和采集窗口？ |
| 结果 | 请求被接受、限速、质询还是拒绝，结果是否真正可用？ |
策略拒绝后更换出口并不能修复身份或授权问题，反而可能把清晰的配置不一致变成疑似规避行为。
可识别爬虫的发布检查流程
1. 固化当前声明
记录 User-Agent、行为、内容用途、运营角色和验证方式。用于审计的导出只包含非敏感配置。
2. 盘点全部生产出口
覆盖直连、数据中心代理、住宅代理、IPv4/IPv6、区域网关和故障切换路径，并标注哪些路径能够满足选定验证方式。
3. 独立测试验证证据
确认公开 IP 文档可访问、反向 DNS 正确，或签名请求能够通过验证。该测试应在抓取任何第三方站点之前完成。
4. 重新核对站点权限
检查目标站点条款、robots 指令、内容用途信号和速率限制。身份被验证只说明调用者是谁，并不代表所有用途都已获同意。
5. 运行有边界的金丝雀流量
使用低并发、少量获准 URL 和明确停止条件，记录时间、路由、身份版本、策略结果和应用结果。
6. 监测身份漂移
当生产环境出现未声明 User-Agent、未经验证的出口、签名头丢失，或内容用途未经批准发生改变时，应立即告警。
7. 持续维护目录记录
验证证据或行为声明变化时及时更新提交，并保存原因、审核人和关联发布版本。
不要只看通过率
建议按区域和路由追踪：
- 使用已批准身份版本的请求比例；
- 经当前有效验证路径发送的请求比例；
- 声明用途与实际用途不一致次数；
- 按站点与原因划分的策略拒绝；
- 限速事件和重试预算耗尽；
- 身份变化到目录更新的耗时；
- 有效结果率及每个有效结果成本；
- 由过期 IP、DNS 或签名证据导致的事故。
全局成功率可能掩盖某个超出身份边界的代理网关，因此必须分区域和出口分析。
五个常见误解
目录接受不等于全球放行。 每个网站仍保留自动访问控制权。
身份可验证不等于数据来源合规。 用途、同意、最小化、保留期限和下游使用仍需治理。
IP 白名单不是永久身份。 出口供应会变化，共享地址也会产生歧义。
代理请求被拒绝不一定是 IP 质量问题。 应分别排查身份、授权、速率和应用策略。
通过修改 User-Agent 或出口绕过站点决定不是修复。 正确做法是更新声明、获得许可或停止采集。
FAQ
每个内部爬虫都需要提交 BotBase 吗？
不需要。仅在自有系统内部运行的爬虫暴露范围不同。是否提交应依据公开访问范围、站点政策和验证架构决定。
一定要使用 Web Bot Auth 吗？
Cloudflare 说明可采用多种验证方式，包括公开 IP 列表、反向 DNS和 Web Bot Auth。应选择与整体架构匹配、并能覆盖所有生产路径的方式。
轮换住宅代理能否通过静态 IP 范围验证？
只有运营方能够真实发布并持续维护相应出口证据时才可以。高度动态的第三方供应往往不适合静态 IP 身份模型。不要发布无法控制的网段，也不要声称无法证明的独占性。
身份验证可以替代 robots.txt 或内容用途信号吗？
不能。身份回答“谁在调用”，站点指令和合同条款回答“允许做什么”，二者都必须满足。
可结合 98IP 的代理池 ASN 与网段集中度审计、住宅代理会话粘性测试和代理试点统计设计进一步建立验证流程。
合规说明
仅对有权访问的系统和内容运行爬虫。遵守网站条款、robots 指令、内容用途信号、速率限制、隐私义务和适用法律。身份声明必须真实，采集数据应最小化；当站点拒绝相关用途时应停止。代理是传输工具，不是隐藏责任或覆盖发布者决定的方法。
来源说明：Cloudflare，《BotBase for Operators: A clearer path to joining Cloudflare's directory of bots and agents》，发布于 2026 年 8 月 28 日。根据 98IP 网站零外链规则，来源 URL 仅保存在内部运营记录中。
