住宅代理能打开地区落地页，页面语言也正确，仍不能说明响应没有意外的索引限制。地区边缘配置可能在正确正文旁附带noindex响应头，页面模板也可能加入相互冲突的HTML规则。
本文用于自有或明确授权站点的上线验收，检查所选地区路径实际交付的索引指令。它不冒充已验证的搜索爬虫，不证明Googlebot收到同样响应，也不保证收录、流量或排名。
一、先给每个网址写明预期
准备小范围批准清单，包括公开落地页、本地化商品页，以及一个有意排除收录的测试页。分别记录最终主机与路径、预期索引政策、语言、构建版本和环境，不能默认每个页面都应开放索引。
页面交付、交付的索引指令和搜索引擎实际收录状态是三个结果。本测试只能为观察到的路径建立前两项证据。实际收录需另外使用站点授权的搜索管理工具取证，不能从HTTP 200或网站地图条目推断。
先定义检查哪个爬虫的政策。Google Search Central说明的是Google规则，其他搜索引擎可能有不同处理。普通浏览器地区测试仍有价值，但改一个user-agent字符串，不会把住宅代理变成已验证的Google爬虫。
二、获取最终GET响应并确认页面身份
- 使用批准的基线路径，固定浏览器或HTTP客户端配置，案例不需要时保持未登录，并设少量请求预算。
- 以GET访问清单网址，记录跳转并找到最终响应。跳转响应的规则不等于最终文档的规则。
- 从同一次请求保存已遮蔽的响应头及原始HTML，附上状态、内容类型和最终网址。
- 确认预期页面及语言。200背后的验证挑战页或登录页是交付失败，不是目标落地页验收通过。
- 在批准的各地区代理路径重复，第一轮只改变线路，控制Cookie、语言和客户端设置。
98IP动态住宅IP产品页用于了解授权地区交付检查所用产品；通过API配置页核对当前接入方式与账户选项。产品页面不保证搜索爬虫的线路，也不决定搜索引擎如何收录目标内容。
三、响应头与HTML规则各查一遍
针对Google的这组检查，需要同时读取X-Robots-Tag响应头及HTML里适用的robots元数据，保留全部出现位置，包括针对特定爬虫的规则。不能遇到第一条宽松规则就停止；适用规则冲突时仍可能存在限制。Google文档说明冲突采用更严格的规则。
响应头解析需保留重复字段，元数据用HTML解析器提取。不能只搜索完全一致的小写noindex，也不能因为正文某处出现index就判定允许。示例引用、脚本字符串和文章文字并不自动成为生效的元数据。
证据表分别记录规则原文、所在层及适用对象。通用robots规则和爬虫专用规则各占记录。不熟悉或格式异常的指令应交由文档解释核对，不能静默判为放行。
四、源HTML与渲染文档分开观察
应用会用JavaScript修改元数据时，原始HTML与有期限的渲染观察分别保存。等待明确的应用就绪条件，再列出文档里的相关元数据，记录浏览器、期限及就绪条件是否真的达到。
源文档与渲染元数据不同，是配置问题线索，不证明某个搜索引擎最终处理了哪一版。不能假设客户端后续修改能取消较早的响应头。把差异交给应用或边缘配置负责人，逐层核对预期规则。
每个案例用四栏比较：交付的页面身份、适用响应头规则、源HTML规则、渲染元数据。渲染未完成就记未完成，不要用正文截图代替缺失证据。
五、发现与抓取控制单独验收
Google的noindex文档指出，爬虫需能访问页面才能看到它的noindex指令。因此robots.txt的disallow不是向该爬虫交付noindex的替代办法，不能为了让检查器看不到错误规则就再加禁止抓取。
对自有页面，将相关抓取政策和网站地图成员关系列为单独检查。网站地图包含页面，不会覆盖noindex，也不保证收录。反过来，没有noindex也不证明搜索结果一定选中该页。
私有测试环境应有真正访问控制，索引指令不等于认证。此验收不授权暴露私有环境或更改线上抓取政策，只记录交付配置供站点负责人复核。
六、用小型地区故障矩阵检查
- 公开样本、所选线路：交付预期页面，无未经批准的适用限制。
- 有意排除的样本：批准的noindex保持存在，测试不能要求删除。
- 自有测试边缘仅为一路注入限制响应头：即使HTML宽松，响应头栏也能发现。
- 模板额外添加限制元数据：记录两条，不因第一条允许就判通过。
- 渲染规则与源文档不同：附就绪证据报告层间差异，不宣称实际收录行为。
- 挑战页、跳到登录或超时：交付失败或未完成，不能计为索引政策无问题。
这些是待执行案例，不是测试成绩。负责人修正意外规则后，以同一契约重测受影响网址及选定基线路径。先确认交付配置，再另外查看搜索状态，不能在代理复测成功后宣布即时重新收录。
FAQ与上线清单
HTTP 200意味着可收录吗？它只说明响应状态，页面身份和适用规则还需单独检查。
住宅线路等于Googlebot环境吗？不等于，应把结果写成具备具体客户端配置及限制的地区交付观察。
- 每个网址都有明确政策和环境。
- 检查最终GET，而非只看HEAD或跳转。
- 重复响应头、元数据及爬虫适用对象均保留。
- 源文档与渲染证据分开。
- 有意排除页面与私有环境继续受保护。
- 报告证据已遮蔽，不含未经证实的收录、排名或流量承诺。