Cloudflare 向运营方开放 BotBase：数据采集团队现在应记录什么

Cloudflare 于 2026 年 8 月 28 日发布 BotBase for Operators。机器人运营方现在可在专门入口提交机器人，查看提交处于等待、接受或拒绝状态，读取拒绝原因，并在身份资料变化时更新既有提交。

Cloudflare 还表示，新表单会从三个维度描述机器人：机器人执行什么行为、如何使用所读取的内容，以及谁实际运营流量。验证可能检查 IP 列表、反向 DNS 或 Web Bot Auth 签名。这项更新不会赋予任何网站的采集权限，目录收录也不能覆盖站点所有者的政策；它明确了一个运营原则：爬虫身份必须具体、持续更新且可审计。

为什么代理支持的数据采集需要关注

软件名称只是爬虫身份的一层。目标站点实际看到的还包括出口 IP、网络所有者、反向 DNS、User-Agent 模式、验证方式、声明用途、请求节奏与责任运营方。

代理轮换会让这些信息漂移。新供应商、地址池、地区或会话策略可能引入未进入审核清单的网段；过宽的 User-Agent 会与其他运营方重叠；旧反向 DNS 可能仍指向已退役设施；原本用于搜索索引的项目也可能新增模型训练或代理操作，却没有更新内容用途声明。

正确做法不是隐藏变化，而是像管理凭据和生产发布一样管理爬虫身份。

按爬虫用途建立独立身份记录

不要只维护一份“我们的机器人”文档。用途或运营边界实质不同的工作负载应分别记录：

• 稳定名称与足够精确的 User-Agent 模式；
• 法律或组织运营主体及有人值守的联系方式；
• 直接运营方还是中间服务方；
• 搜索索引、用户触发检索、监控、研究或数据采集等行为；
• 内容是否被索引、摘要、保留、引用或用于训练；
• 代理供应商与产品、地区、IPv4/IPv6、轮换或粘性会话；
• 已批准出口网段或发布这些网段的受控端点；
• 反向 DNS 规则或密码学验证方式；
• 所有者、复核人、上次验证时间和下次复核日期；
• 目标站授权、速率上限、保留期限与紧急停用控制。

如果两个工作负载无法诚实共用这些值，就不应共用同一身份记录。

让代理出口证据可复现

“使用住宅代理”不是验证证据。审计应能针对明确样本和时间窗复现观察结果。

1. 导出任务实际使用的地址池、产品、地区、协议、地址族与会话配置。
2. 按受控间隔抽样出口，不得通过强制轮换绕过目标站控制。
3. 记录 IP、网段、ASN、网络标签、反向 DNS、地区结果和时间戳。
4. 将样本与运营方公布或登记的身份验证方式比对。
5. 区分预期地址变化与未经批准的网络变化。
6. 新网段完成所有权和用途复核前进入隔离状态。

不要在公开资料中暴露代理凭据、会话令牌、客户标识或内部完整清单，只公开验证方式真正需要的证据。

将 User-Agent 精确度变成测试项

Cloudflare 表示，自动审核会检查 User-Agent 模式是否足够精确，以及是否与已收录机器人重叠。团队可以在提交前自行测试。

为每个受支持客户端版本建立正例，并以常见浏览器、通用库和其他内部爬虫建立反例。模式应识别目标爬虫，同时不把无关流量据为己有。

随后将声明模式与生产请求日志比对。如果备用客户端发送通用库标识，或浏览器流程替换请求头，表单填写再准确也没有意义。对未声明变体告警，不要静默接纳。

分开管理“行为”和“内容用途”

行为回答爬虫做什么，内容用途回答取回内容后发生什么，两者可以独立变化。

价格监控可能只保留少量公开字段；搜索爬虫可能建立索引并保留引用；用户触发的代理可能按需获取单页。即使它们共用代理网关，也不应互相继承声明。

当产品改变采集目的、存储期限、下游接收方、模型用途或运营角色时，应触发发布门禁：先更新身份记录和目标站权限复核，再允许新行为进入生产。

每次代理变更都执行四道身份门禁

1. 网络门禁：抽样网段、ASN、反向 DNS 与地址族符合审核证据。
2. 协议门禁：User-Agent 和验证签名能穿过真实 HTTP、SOCKS5、浏览器与重试链路。
3. 政策门禁：用途、内容使用、目标站、速率、保留和隐私处理仍获批准。
4. 运营门禁：联系方式、责任人、变更历史、监控与紧急停止均为最新。

身份依据消失时应关闭流量，不得为了绕过拒绝或限速而切换其他地址。

不要把目录接受状态当成采集授权

新的提交历史会显示等待、接受或拒绝，并在需要修改时给出原因。内部应同时保存状态时间戳及当时提交的证据版本。

“接受”表示目录已分类并跟踪该爬虫，不代表每个网站必须放行。站点条款、robots 指令、内容信号、认证要求、合同限制、速率、隐私义务与适用法律仍然决定任务能否执行。

上线检查清单

• [ ] 每个爬虫用途都有责任人和有效联系方式。
• [ ] User-Agent 模式通过正例与反例测试。
• [ ] 地址池、地区、地址族、协议和会话模式已记录。
• [ ] IP 列表、反向 DNS 或签名证据仍有效。
• [ ] 行为和内容用途与生产流程一致。
• [ ] 直接运营方或中间方角色明确。
• [ ] 新网段在上线前完成复核。
• [ ] 目标站权限与限速独立执行。
• [ ] 拒绝原因和分类变化进入变更日志。
• [ ] 紧急开关无需发布新版本即可停用爬虫。

常见问题

目录接受是否等于允许采集？

不是。它是身份与分类依据，不是目标站授权。

轮换住宅代理池能否验证？

可以记录，但证据必须符合所选验证方式，并随地址池变化保持更新。网络分类抽样不能单独证明授权、用途或身份。

是否应公开每一个出口 IP？

不一定。应遵循验证方式并保护敏感数据。根据平台和运营模式，受控网段列表、反向 DNS 或签名身份可能更合适。

哪些变化需要更新提交？

User-Agent、验证端点、网段、反向 DNS、运营角色、行为、内容用途或责任组织发生变化时都应复核。

合规说明

仅对已获授权的系统和数据使用代理与自动化采集。遵守目标站条款、robots 指令、内容偏好、速率限制、隐私要求、安全控制、合同与适用法律。身份声明不得被用于暗示并未获得的权限。

相关 98IP 内容：住宅代理来源审计、代理试用验收测试及代理并发爬坡测试。