抓取、索引、排名是三个先后环节,判断问题出在哪一步,最直接的方法是分别取证:先用百度搜索资源平台的抓取诊断看百度蜘蛛能否正常访问页面,再用site语法或搜索资源平台的索引量数据看页面是否被收录,最后用具体关键词搜索看收录后的页面是否获得展现。三步结果组合起来,就能判断卡在哪一环,而不是笼统地说“网站没排名”。
要查的是:百度蜘蛛有没有成功请求到目标页面,返回状态码是什么。
怎么查:在百度搜索资源平台使用抓取诊断功能,输入具体URL,查看返回的HTTP状态码、页面内容和抓取时间。也可以结合服务器日志,筛选百度蜘蛛的User-Agent,看它最近有没有访问过这个URL、请求结果如何。
结果说明什么:
适用条件:新页面、改版后的页面、服务器不稳定时期,优先做这一步。注意抓取诊断成功只代表这一次请求成功,不代表百度已经持续、稳定地抓取该页面。
要查的是:页面有没有被百度收录,收录的是不是我们期望的版本。
怎么查:在百度搜索框输入 site:你的域名 看大致收录情况,再单独搜索完整URL或标题,看目标页面是否出现。同时可以在搜索资源平台查看索引量数据和页面抓取异常报告。
结果说明什么:
这里要区分两个概念:被抓取不等于被索引。百度蜘蛛来过、返回200,只说明抓取成功;是否建立索引还要看内容是否值得收录、是否与已有页面高度重复。
要查的是:在具体关键词下,目标页面有没有出现在百度搜索结果中,位置如何变化。
怎么查:用目标关键词在百度搜索,翻看前几页是否出现目标页面。更稳妥的做法是结合搜索资源平台的搜索展现数据,看该页面或该关键词的展现量、点击量变化,而不是只看某一次手动搜索结果。
结果说明什么:
手动搜索会受到个性化、地域和登录状态影响,同一关键词不同人看到的结果可能不同,所以手动结果只作参考,数据平台里的展现和点击趋势更可靠。
把三步结果放在一起,可以形成一张判断表:
假设一个页面抓取诊断返回200,site查询搜不到,手动搜索关键词也没有结果,那么可以判断问题大概率在索引环节,而不是排名环节——因为排名以索引为前提。此时应先解决“为什么没被收录”,而不是去堆关键词。
下一步建议:挑一个当前没有流量的目标页面,按抓取、索引、排名三步各记录一次结果,形成一份简单的排查记录。连续观察一到两周,看变化发生在哪一环,再决定优化动作,避免在错误环节反复修改。