在代理响应结构漂移污染数据集之前发现它
代理请求即使返回 200 OK，仍可能污染数据集：目标把字段改名、按地区返回不同页面、用 HTML 拦截页替代 JSON、删除嵌套对象，或把数值改成字符串。如果采集器把传输成功当作数据成功，错误会进入分析、定价模型和业务决策。
本指南面向合法且获授权的数据采集、市场研究、广告验证和本地化测试。它将网络健康与内容正确性分开，识别真实结构变化，又不过度响应无害变体，并在不确定记录进入生产表之前隔离它们。
分开四类失败
- 传输失败：DNS、代理认证、隧道、TLS、超时或连接错误。
- HTTP 政策结果：重定向、认证挑战、限速、拒绝或服务错误。
- 表示不匹配：
Content-Type、编码、地区、模板或正文特征不符合预期。 - 结构不匹配：表示类型正确，但必需字段、类型、范围或字段关系发生变化。
这些情况需要不同处理。目标接口把 price 改成 amount 时，轮换出口无法修好解析器；反复重试只会增加费用并复制同一份坏数据。
从已验收样本定义合同
为每个关键分组保留少量已审核、获准使用的响应：目标端点、地区和语言、代理类型与会话模式、桌面/移动/API 客户端、公开或认证流程、成功及已知非成功模板。
留存前删除秘密和非必要个人数据，为样本分配合同版本与批准日期。不要强迫所有地区使用一个过宽结构；德国页面与美国页面可以有不同字段，同时满足同一业务目标。
同时定义结构门槛和语义门槛：结构规则确认形状与类型，语义规则确认数据对业务确实合理。
解析前先验证表示
先检查状态和最终目标、Content-Type 与字符集、Content-Encoding 解码结果、正文长度边界、地区和语言标记、稳定内容特征，以及已知拦截页、错误页和挑战页标记，再调用 JSON 或 HTML 解析器。
不能只看状态码。访问提示页可能返回成功状态，JSON 接口也可能返回能正常解析的错误对象。
响应头只按允许清单记录。除非确有必要、获得许可并得到保护，否则不保存代理凭证、Cookie、授权值、完整查询串或正文。
JSON Schema 管结构，不代表业务真相
对 JSON 响应声明明确的 JSON Schema 方言并验证每个实例。Draft 2020-12 区分核心与验证词汇，可约束类型、必需属性、数组形态、数值范围和条件组合。
初始合同可以要求：对象必须包含 item_id、observed_at、currency 与 amount；标识和货币为字符串，金额为数值。在探索阶段可允许额外字段，避免一个无害新字段让全链路停止；下游依赖的必需字段和类型则应严格。
Schema 验证无法证明金额属于正确商品、地区或时间。还要增加货币与市场匹配、非负范围、时间新鲜度、标识格式和跨字段一致性规则。
HTML 使用多层信号
HTML 比 JSON 更易变化，不应把一个 CSS 选择器当成全部合同。组合页面类别特征、必需容器、两个以上独立字段选择器、语言标记、记录数量边界、稳定区域摘要，以及对同意、登录、挑战和错误模板的显式检测。
不要依赖广告位、随机 ID 或轮换推荐内容。生成摘要前先标准化易变属性。可参考代理响应完整性测试比较正文而不保留非必要内容。
建立分组基线
按地区、语言、端点、客户端类型和会话策略分别计算漂移，持续追踪验证通过率、缺少必需字段、类型变化、新增或删除可选字段、未知模板、内容类型不匹配、空正文或截断、数值分布变化，以及首次和重试后的结果。
在许可范围内设置直连或受控路线基线。若所有路线同时出现新字段，多半是目标变更；若只有某个代理分组出现拦截页，更可能是路由、会话或政策差异。
先隔离再重试
不确定记录不得写入正式数据集。隔离事件只保存操作与尝试 ID、合同版本、分组、失败类别、规则 ID、内容类型、安全正文摘要、状态、代理路线别名和时间。只有政策允许且诊断必要时，才保存最小脱敏样本，并限制访问与保留时间。
只有故障可能是暂时的、且操作可安全重放时才重试。超时或短暂服务错误可以进行一次有上限的重试；稳定缺字段或类型变化需要审核，不能靠轮换路线解决。不得为规避拒绝而切换 IP。
用灰度流水线确认变化
让新合同与现行合同在少量已授权样本上并行，逐项分类：兼容新增字段、已知地区变体、破坏性结构变化、语义变化、政策响应或采集器自身缺陷。
只有代表性分组通过，且下游消费者确认兼容后，才能提升新合同。保留旧合同用于比较，但不要为了让流水线变绿而静默强制转换未知值。
使用代理响应新鲜度指南识别结构正确但内容陈旧的响应；使用请求头完整性测试定位由意外客户端头触发的页面变体。
设置可执行阈值
- 凭证或禁止数据泄露：立即停止；
- 跨地区或跨租户混合：立即停止；
- 必需标识缺失：隔离并通知负责人；
- 数值类型变化：隔离并阻止下游计算；
- 新增可选字段：观察并批量审核；
- 已知语言变体：按对应分组合同接受；
- 未知模板超过小阈值：暂停受影响分组；
- 直连与代理基线同时广泛变化：启动目标变更审核。
告警应定位最小受影响分组。一个地区变体不应让所有地区停止，也不能抹掉诊断证据。
结构漂移检查清单
- [ ] 数据采集与样本留存已获授权。
- [ ] 传输、HTTP 政策、表示与结构失败已分开。
- [ ] 每个结构合同都有版本和批准日期。
- [ ] 地区、语言、端点与客户端分组独立。
- [ ] 解析前验证内容类型和解码。
- [ ] JSON 结构与业务语义规则分离。
- [ ] HTML 使用多层信号，而非单个选择器。
- [ ] 未知结果先进入隔离区。
- [ ] 仅对可能暂时的故障进行有限重试。
- [ ] 许可范围内比较直连与代理基线。
- [ ] 合同变更经过灰度和下游审核。
- [ ] 日志与样本不含秘密和非必要个人数据。
常见问题
新增可选字段一定是结构漂移吗？
它是结构变化，但不一定破坏兼容性。记录并测量范围；若消费者不受影响，可以更新文档而不阻断流水线。
additionalProperties 应该设为 false 吗？
只有合同确实禁止未知属性且阻断成本合理时才这样做。探索阶段允许额外字段、严格限制必需字段通常更安全。
轮换代理能修复结构失败吗？
通常不能。轮换可以暴露地区差异，却无法修复真实合同变更，也不得用于绕过访问控制。
不保存完整响应如何验证？
保存规则结果、安全摘要、元数据和最小脱敏样本。只有授权、必要性、安全与留存政策都允许时才保留完整载荷。
何时应自动停止采集？
凭证泄露、跨租户或跨地区混合、禁止数据、广泛未知模板，或任何使下游计算不安全的变化都应触发停止。
合规说明
只采集和验证获准访问与保留的数据。遵守目标条款、适用的 robots 指令、速率限制、隐私义务与地区法律。不得使用代理轮换或重试规避拒绝。最小化样本，保护隔离区，并按书面留存政策删除诊断数据。
内部研究材料：JSON Schema Draft 2020-12 Core 与 Validation 规范（2022 年 6 月）；IETF《HTTP Semantics》（2022 年 6 月）。
