代理带宽成本基准:衡量每份有效数据的真实价格

明亮的全球互联网观测台将压缩网络流量计量并转化为已验证的数据结果

每 GB 标价只是代理成本的起点。两个住宅代理方案执行同一项已授权任务,账单仍可能差异很大:计费口径不同、压缩协商不同、重试率不同,或者返回的可用数据比例不同。当重定向、失败响应和重复下载消耗大部分流量时,便宜的流量并不便宜。

本指南适用于公开数据采集、市场研究、广告验证、本地化测试等合规场景。核心决策指标是每个合格结果成本,而不是最低标价或单纯的字节数。

分开记录四类字节

不要只保留一个含义模糊的 bytes 字段:

  1. 解码后载荷字节:去除 gzip、Brotli 等内容编码后,解析器实际处理的数据。
  2. 编码后正文节:仍保留内容压缩时的响应正文大小。
  3. 客户端观测传输字节:编码正文加上客户端可见的协议开销;缓存和跨域资源需要谨慎解释。
  4. 供应商计费字节:控制台或账单报告的流量,需确认是否包含上传、下载、失败尝试及最小计费单位。

这些数值不能互换。Content-Length 在许多普通响应中表示编码后的表示长度,但流式传输、重定向、缓存和多路复用会让它无法代表完整链路流量。把它当作证据之一,而不是账单真相。

为业务结果设置 operation_id,为每次网络尝试设置不同的 attempt_id,否则重试会隐藏在总量里。

测试前写清验收合同

响应只有通过业务门槛才算有效。预先定义:

  • 已获授权的目标与允许的数据用途;
  • 可接受状态、最终页面和必需字段;
  • 内容摘要或完整性验证;
  • 国家或地区要求;
  • 总时延与 p95 上限;
  • 会话持续或轮换规则;
  • 最大尝试次数、耗时和成本;
  • 隐私与留存要求。

返回 200 但内容是拦截页、错误地区、空壳页面或截断文件,都不能算合格结果。传输成功和内容验收必须分开记录。

建立有代表性的测试集

只测试自有或获准访问的目标,并覆盖不同对象:小型 JSON/HTML、易压缩文本、已经压缩的图片或归档、带合规子资源的浏览器页面、生产确实需要的上传,以及一个受控重定向和瞬时失败案例。

所有候选方案使用相同客户端版本、请求头、超时、地区组合和测试集。不同方案在多个时间窗交替运行,避免一次目标站波动偏向某家供应商。先以单 worker 建立基线,再在目标允许范围内阶梯增加负载。

显式比较压缩

客户端通过 Accept-Encoding 声明支持的编码,服务端通过 Content-Encoding 说明实际采用的内容转换。记录两者,但不要记录授权头或凭证。

对于文本对象,进行一组小规模对照:正常压缩设置,以及目标允许时的 identity 诊断请求。比较编码与解码大小、内容摘要、时延和计费流量。identity 测试只用于诊断,不应在生产中反复制造更大账单。

图片、压缩包等已经压缩的对象应单独统计。浏览器中的 encodedBodySizedecodedBodySizetransferSize 很有价值,但零值可能代表缓存或跨域计时权限未开放,并不等于代理没有传输流量。

区分冷连接与热连接

连接复用会改变时延和开销。至少分别测试:全新连接或浏览器上下文,以及在同一安全会话边界内有意复用的连接。记录可获取的 DNS、代理连接、TLS、首字节和总耗时。

在 HTTP/2 或 HTTP/3 中,多个资源可能共享连接,把连接开销分配到单个请求只是估算。应公开分配方法,不能假装精确。也不能为了节省字节,在无关用户或任务之间共享 Cookie、粘性身份或认证状态。

把重定向和浏览器子资源纳入账本

命令行测试通常只取一个文档;浏览器可能加载脚本、样式、字体、图片和 API。先确定业务需要文档还是渲染页面,再测量正确的工作单元。

浏览器任务应按资源类型和来源记录清单,标记缓存、重定向、重复下载及被阻止的资源。只有在授权任务仍能得到完整结果且目标规则允许时,才可减少非必要资源。不得为省流量屏蔽同意、安全或策略控件。

隔离重试放大

先关闭自动重试进行诊断,以看清首次请求质量;然后使用严格共享预算测试生产重试策略:

重试放大倍数 = 全部尝试字节 / 首次尝试字节
有效数据产出率 = 合格载荷字节 / 供应商计费字节
每个有效结果成本 = 代理费用 / 合格结果数

同时报告每个有效结果所需尝试数。最终成功率很高,可能只是三次重试掩盖了脆弱线路。仅重试可安全重放的操作,遵守目标节奏信号,使用退避和抖动,并在次数、时间或成本预算耗尽时停止。可结合代理重试风暴预防指南部署生产控制。

对账客户端日志与供应商仪表

在隔离测试窗口开始前后读取供应商用量计数,预留控制台延迟和取整时间。窗口内不要让其他业务共用同一账号、子账号或区域。

每个测试组至少保存逻辑操作数、尝试数、合格结果数、编码与解码字节、观测传输量、计费量、p50/p95、错误类别和费用。出现明显差异时,先检查上传流量、时区边界、延迟聚合、计费取整、隧道开销、浏览器后台流量和测试重叠,再向供应商索取书面计费定义并复测。

统一换算为每个合格结果

代理总费用 = 套餐承诺分摊 + 用量费 + 超额费
每个合格结果成本 = 代理总费用 / 合格结果数
每个合格结果字节 = 供应商计费字节 / 合格结果数

先用授权、地区、数据完整性、首次成功率和时延做硬门槛,只有通过者才按成本排序。通过浏览器代理带宽预算指南把结论转为单次运行上限,并参考代理连接池指南设置安全复用边界。

验收检查清单

  • [ ] 目标和数据用途均已获得授权。
  • [ ] 逻辑操作与每次尝试使用不同标识。
  • [ ] 合格结果不只依赖 HTTP 状态码。
  • [ ] 小对象、易压缩对象与已压缩对象分组。
  • [ ] 记录压缩协商与内容编码。
  • [ ] 冷连接与热连接分别报告。
  • [ ] 浏览器子资源、重定向和缓存可见。
  • [ ] 无重试基线与生产重试策略已对比。
  • [ ] 已确认上传和下载的计费口径。
  • [ ] 已控制控制台延迟、取整和时区边界。
  • [ ] 成本和字节均按合格结果归一化。
  • [ ] 日志不包含凭证、Cookie、载荷和非必要个人数据。

常见问题

Content-Length 等于代理计费流量吗?

不等于。它通常描述编码后的表示正文,不包含代理承载的全部字节。账单还可能计入请求、重定向、失败尝试、隧道开销或取整。

应该关闭压缩做基准吗?

只在允许时做小规模诊断。生产对比应采用真实客户端行为,并把 identity 与压缩响应分开报告。

浏览器传输大小为什么会是零?

资源可能来自缓存,或跨域计时信息未开放。零值不是没有代理流量的证据。

需要多少样本?

初步比较至少让每个稳定测试组获得 30 个合格操作,并跨多个时间窗复测。高波动或关键业务需要更多样本和置信区间。

最值得用于采购的单一指标是什么?

在质量、地区、时延和合规硬门槛内,使用每个合格结果成本。它同时体现流量价格与失败、无效数据造成的浪费。

合规说明

代理仅用于合法、已授权的目标和数据。遵守站点条款、访问政策、适用的 robots 指令、速率限制、隐私义务与地区法律。不得利用轮换或重试绕过控制。最小化遥测,基准日志中不得记录代理凭证、会话 Cookie 或个人数据。

内部研究材料:IETF《HTTP Semantics》(2022 年 6 月);MDN Web Docs 的 HTTP 压缩与 Resource Timing 文档(2026 年 9 月核对)。