死链接检测，怎样形成可复用检查清单
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /91a4cb3311d1.html
📄
死链接检测，怎样形成可复用检查清单
把死链接检测做成可复用检查清单，核心是固定“检测范围、判定标准、处理动作、复查周期”四类字段，让每次检查都按同一套记录执行，而不是每次凭印象点几页。第一次上手可以从一份最小清单开始：先列出需要检查的URL来源，再规定什么算死链接，最后写明每类结果由谁在什么时间处理。
准备阶段：先确定检查范围和URL来源
可复用的前提是范围可重复。建议把URL来源分成几类分别记录：站内导航与页脚、文章正文中的导出链接、图片与脚本等资源引用、站点地图中提交的URL、以及历史改版后保留的旧路径。每一类在清单里对应一行，注明抓取方式，例如从站点地图读取、从页面HTML中提取<a>标签、或从服务器访问日志中筛选返回异常状态的请求。
同时确定判定阈值。常见做法是把HTTP状态码404和410视为死链接，把5xx视为暂时不可用需要复测，把3xx跳转链超过一定层数视为需要整理。阈值一旦写入清单，后续每次检查都按同一标准判断，避免这次算问题、下次不算。
实施阶段：按固定顺序采集与记录
推荐顺序是先小范围再全量，便于快速发现清单本身的问题：
- 抽取20到50个已知URL做试跑，确认工具能正确识别状态码和跳转。
- 对全站或指定目录执行抓取，导出“源页面URL、目标URL、状态码、发现时间”四列。
- 对5xx和超时结果单独标记，隔一段时间复测一次再定性。
- 把结果按来源分类归入清单对应行，而不是混在一张总表里。
这里最关键的一步是保留“源页面URL”。只记录失效的目标地址，往往无法判断该改链接还是删内容；记录来源页面后，处理动作才有明确落点。
验证阶段：区分已定位原因和可能原因
同一现象可能有多种解释，清单里应把“已确认”和“待确认”分开写。例如某个URL返回404，已确认的是服务器对该路径返回404；可能原因包括页面被删除、路径拼写错误、大小写不一致、或服务端重写规则变更。不要在没有进一步核对的情况下把原因写成唯一结论。
验证时逐项核对：
- 目标页面是否确实不存在，还是仅对当前抓取环境不可达；
- 是否存在可替代的有效页面，若有则记录替换目标；
- 失效链接是否位于导航、正文或资源引用，不同位置的处理优先级不同；
- robots.txt中的抓取限制是否影响检测覆盖，注意抓取限制不等于可靠的索引移除，两者要分开判断。
如果站点使用HTTPS，也不能据此认为链接安全或排名无忧，证书配置与链接有效性是两件事，需分别检查。
维护阶段：让清单能长期复用
清单要能复用，需要固定复查节奏和责任人字段。可以在每次检查后更新三列：本次新增死链接数、本次已处理数、遗留待处理数。复查周期按内容更新频率设定，更新频繁的栏目缩短周期，长期不变的页面可放宽。
站点地图可用于提供待检查URL，但它不保证收录，也不能替代实际的状态码检测。不同搜索引擎对同一URL的处理可能不同，若涉及具体搜索引擎的收录表现，应分别核查，而不是用一份结果推断全部。
下一步：先写出属于自己站点的最小清单模板，包含URL来源、判定阈值、源页面记录、处理动作和复查周期五列，用一批已知URL试跑一次，再根据试跑结果补充遗漏的来源类别。
