种子页面合规，不代表后续请求都在范围内
监测任务从获准的目录页开始，后续却可能发现账号链接、无限搜索参数或另一个主机。增加住宅线路无法解决边界扩大。扩容之前先定义允许请求的集合，对每条候选URL做判断，而不是只检查第一批种子。
RFC 9309规定了自动客户端的robots排除规则，但这类规则不是访问授权。该层应交给经过测试的解析器。本文提出的是另一层应用闸门，将明确授权、URL范围及运行上限组合起来，不替代协议解析器，也不据此宣称获得法律许可。
第一步：把调研需求变成请求约定
在自有测试站或明确获准监测的网站，记录允许的协议、精确主机和端口、路径集合、参数及可用值、目的、期限和范围负责人。首轮运行前确定页面与请求预算。链接被发现或者返回200，都不能自行扩充这份约定。
例如自有样本站可允许/catalog/及固定的market、page取值，同时排除/account/和/search/。这是应用配置示例，不代表98IP或目标网站的规则。约定需要版本编号，才能解释某次判断使用了哪一版边界。
第二步：为比较规范化，不随意改写请求含义
按实际文档URL解析相对链接，使用维护中的URL库。把主机名作为主机名比较，不做“字符串包含获准名称”的判断。无关域名即使标签里出现获准名称，也不能通过精确主机名单。子域名和非默认端口按约定处理，不自动放行。
片段可从队列去重键移除，但路径大小写、百分号编码、重复参数和参数顺序必须结合目标语义处理。不要无条件解码保留分隔符，也不要把所有参数都删掉。含义不清的URL进入待确认状态；为了好匹配而改写URL，可能请求了不同资源。
第三步：入队前与发送前各做一次判断
候选链接解析完成后，核对明确授权以及应用约定的主机、路径、参数，再用真实爬虫身份执行适用的robots判断，最后检查预算和策略有效期。结果建议分为可发送、拒绝、待确认，并记录host_out_of_scope、query_not_approved、policy_expired或policy_unavailable等原因码。
发现、入队及派发阶段使用同一闸门。昨天入队的URL不能因为留在队列里，今天策略收紧后仍自动获准。队列项保存策略版本，派发时和当前版本比对，必要时重新判断。拒绝项不要送进普通网络重试队列。
第四步：跟随重定向前检查新目的地
客户端自动跟随重定向，可能在应用看到目的地之前就发出下一次请求。验收时配置客户端暴露重定向，解析Location，再经过范围闸门决定是否继续。限制链长度并检测重复目的地。第一跳主机获准，不代表最后一跳也获准。
自有测试端点分别构造两种跳转：目录路径到排除的账号路径，以及到约定之外的主机。期望结果是在发送新请求前停下并留下原因，而不是先访问再丢弃响应。同时确认认证材料不会被转发到未获准的边界。
第五步：用小样本验收队列行为
准备六类候选：获准目录URL、排除账号路径、禁用参数值、跳到范围之外的重定向、携带过期策略版本的旧队列项，以及重复发现的获准URL。发送前逐条写下期望结果。按选定规范化规则，重复链接只计一个入队任务；旧项必须用当前策略重新判断。
通过源站访问日志或带观测记录的本地请求发送器，确认被拒绝的目的地确实没有收到请求。仅看队列计数不够。robots获取、解析或判断无法确认时，本文选择的保守应用策略将任务暂存待审；这是运行保护选择，并不是对所有协议错误规则的概述。
只有获准样本拿到预期内容、拒绝样本没有发送、待确认项独立于网络重试，并且预算达到阈值后停止新增请求，才算通过。获准URL的超时或429属于线路或目标结果，不能借此扩大范围、重置预算或更换身份规避拒绝。
住宅代理在流程中负责什么
授权监测约定需要观察指定住宅市场时，可使用98IP动态住宅IP。出口如何变化都保留同一范围闸门，先确认实际线路，并只使用账户支持的配置。代理负责路由选择，不负责授予访问权、解释业务约定，也不保证目标接受请求。
扩容前结合98IP操作指南核对账户接入流程与限制。用相同工作量比较入队请求和实际账户用量；闸门可能减少不需要的请求，但这套设计没有证明固定速度、节省比例或目标兼容性。
常见问题与运行清单
robots允许就能采集吗？还要有明确许可并符合应用约定；也不能通过代理绕过robots限制或访问拒绝。
范围拒绝能换IP重试吗？这是策略结果，不是出口故障。只有获授权的边界变更才重新审查；含义未确定的项继续等待解决。
上线清单：精确主机与端口比较；保留路径参数含义；真实爬虫身份；策略版本；派发前复核；重定向拦截；拒绝、待确认和重试分队列；有限预算；源站日志证据。诊断URL不携带秘密，敏感参数脱敏；对采集内容及请求日志都执行隐私和保留规则。