网站收录查询日志中应该核对哪些字段：从“为什么没收录”倒推证据清单

📍 WDQWDWQD987AAAAA:216.73.216.45
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /2e4df68dcc12.html
📄

网站收录查询日志中应该核对哪些字段：从“为什么没收录”倒推证据清单

要判断一个网址为什么没有被收录，日志里最该先核对的是请求时间、请求方法、请求URL、状态码、User-Agent、来源页面、响应大小和抓取频率这几类字段。它们能回答三个关键问题：搜索引擎是否来过、来抓的是哪个地址、抓完之后服务器给了什么结果。没有这些字段，后面的“内容质量”“外链不足”都只是猜测。

先确认抓取主体：User-Agent 与来源页面

日志中的 User-Agent 用来区分访问者身份。你需要确认这次请求是否来自搜索引擎的抓取程序，而不是普通浏览器、监控脚本或你自己测试产生的流量。同一时间段的来源页面（Referer）也有价值：如果请求来自站内页面，说明抓取程序在顺着链接爬行；如果来源为空或来自外部，判断路径就不同。

核对时要特别注意：User-Agent 可以被伪造，所以它只能作为线索，不能单独作为结论。稳妥做法是把 User-Agent、IP 归属和请求行为放在一起看。如果某段 IP 高频请求大量不存在的 URL，却声称是抓取程序，更可能是扫描或采集，而不是正常的收录抓取。

再确认抓的是哪个地址：请求URL与请求方法

请求 URL 字段要核对完整路径，包括协议、域名、目录、参数和结尾斜杠。常见问题是同一个页面存在多个可访问地址，例如带 www 与不带 www、带参数与不带参数、带尾斜杠与不带尾斜杠。如果日志里这些变体都被抓取，而每个变体返回不同状态，搜索引擎就可能无法确定哪个是正式版本。

请求方法通常是 GET 或 HEAD。GET 会返回完整内容，HEAD 只返回响应头。如果你只看到 HEAD 请求，不能直接推断页面内容已经被完整读取；它可能只是抓取程序在检查可访问性。判断收录问题时，优先找 GET 请求记录。

状态码是核心证据：区分“没抓到”和“抓到了但没收录”

状态码字段直接反映服务器对这次请求的回应。常见情况可以这样判断：

这里要区分“可能原因”和“已经定位的原因”。看到 403 只能说明这次请求被拒绝，不能直接断定是防火墙导致；需要结合服务器访问控制日志、CDN 规则和同时间段其他请求一起确认。

另外，robots.txt 中的抓取限制不等于可靠的索引移除。日志里如果显示抓取程序遵守了 robots 规则而没有请求某目录，这只说明抓取被限制，不代表页面一定不会出现在搜索结果中。要移除索引，应使用对应的移除工具或让页面返回合适的状态码，并分别核查不同搜索引擎的支持情况。

响应大小与抓取频率：判断内容是否被完整读取

响应大小字段可以帮助判断返回的是完整页面还是空内容、错误页或极短的占位页。如果状态码是 200，但响应大小明显小于正常页面，可能是模板渲染失败、数据库查询为空或返回了软 404。软 404 指页面返回 200 但内容表示不存在，这种情况对收录判断干扰很大。

抓取频率字段（同一 URL 在单位时间内的请求次数）用来判断抓取预算的分配。如果重要页面长期只有一两次请求，而大量低价值参数页被反复抓取，说明抓取资源被分散。此时应检查站点地图、内链结构和参数处理规则。站点地图不保证收录，它只是提交候选地址的一种方式；真正决定是否被抓取的，仍是链接发现和服务器响应。

从交付结果倒推：一份可执行的核对清单

假设你的目标是确认“某个重要页面为什么没有被收录”，可以按下面步骤执行：

  1. 在日志中筛选该页面的完整 URL，限定最近 30 天。
  2. 提取每次请求的时间、User-Agent、请求方法、状态码、响应大小和来源页面。
  3. 确认是否存在 GET 请求且状态码为 200。如果没有 GET 或状态码异常，先解决抓取层面的问题。
  4. 如果存在 200 且响应大小正常，检查同一 URL 是否有多个变体被抓取，以及规范地址是否唯一。
  5. 对比该页面与已收录页面的内链数量、更新频率和外部链接情况，判断内容层面的差异。
  6. 分别在不同搜索引擎的站长工具中核查抓取统计和索引状态，不把一家搜索引擎的结果直接套用到另一家。

完成核对后，你会得到一份明确的判断：是抓取被拦截、服务器返回错误、地址变体混乱，还是抓取正常但内容未被选中。下一步应针对已定位的那一类原因修改配置或内容，并在修改后继续观察日志中同一 URL 的状态码和抓取频率是否发生变化。

图1 图2
nginx