避免重复建设页面的核心做法是:在新建或改版之前,先盘点已有URL和内容主题,确定每个搜索意图只保留一个主页面,其余入口用301跳转或canonical指向它。网站提交百度只是让百度知道这些URL存在,它不会替你合并重复内容,所以去重必须在提交之前或同步完成。重复页面通常来自多参数URL、多路径访问同一内容、分页与筛选页被当成独立页面、以及不同栏目重复发布同一主题。判断是否重复,不看URL长得像不像,而看正文主体、标题、核心信息是否高度一致。
在动手写新页面前,先做一次内容清单。把现有页面按主题分组,每组记录:主URL、页面标题、正文核心信息、是否已被百度收录。这一步的目的是找出“同一件事已经有页面”的情况。
site:加域名在百度搜索框查看大致收录情况,只能作为参考,不能当作精确清单。如果发现同一主题已有页面,优先改进原页面,而不是新建一个“更完整版”。新建前先确认:原页面是否内容太薄、是否主题混杂、是否技术上无法修改。只有原页面确实无法承载时,才考虑新建并用301把旧地址指向新地址。
这是本题最关键的一步。为每个主题指定一个规范URL,并让所有其他入口都指向它。常见做法有两种:
http://example.com/page?from=abc 跳到 https://example.com/page。跳转后旧地址不再作为独立页面参与索引。<head>中写<link rel="canonical" href="主URL">,告诉百度哪个是主版本。同时处理几类常见重复来源:分页页不要和列表首页争同一主题,筛选参数页尽量用robots.txt屏蔽抓取或加canonical;同一篇文章不要同时放在两个栏目下,选一个主栏目,另一个只做推荐位链接;移动端和PC端用对应的适配方式声明关系,不要各自当成独立内容。
去重完成后,再考虑网站提交百度。提交的对象应当是规范URL,而不是跳转前的旧地址或参数地址。提交方式包括在百度搜索资源平台提交sitemap、使用普通收录接口提交单个URL。提交只是通知抓取,能否收录还取决于页面质量、抓取配额和百度自身的判断。
去重和提交之后,需要验证结果,而不是提交完就结束。检查项如下:
site:你的域名 页面标题关键词,观察同一主题是否还有多个URL同时出现。如果有,说明去重还没生效或百度尚未更新。判断标准是:同一搜索意图下,百度结果中主要出现你指定的那个主URL。如果多个URL轮流出现,需要回到规范化步骤,检查canonical是否写错、跳转是否生效、内链是否还在指向旧地址。
重复页面往往不是一次造成的,而是每次上新时慢慢积累的。维护阶段要做的是把规则固定下来:
下一步,从你现有的页面清单中挑出重复最明显的一组,确定主URL,完成跳转或canonical设置,再把主URL提交给百度,观察一段时间后复查收录结果。