开发者如何解除封禁百度蜘蛛
百度站长平台权威解答:为了让广大开发者的网站或小程序,在百度搜索中得到正常的收录和展现,建议开发者及时根据以下内容自查,解除封禁问题,并通过链接提交工具主动提交给我们。
常见的封禁行为包括robots封禁、封禁百度UA、封禁百度IP等。
如何验证网站和智能小程序是否存在封禁百度蜘蛛的情况?
1、首先, 查看robots.txt文件,是否存在封禁记录。(一般robots.txt文件放置在网站根目录下。)
【建议方案】解除robots封禁:robots封禁情况,请检查robots.txt文件,及时修改。
robots文件说明:https://ziyuan.baidu.com/college/articleinfo?id=1516
2、robots文件无异常,进一步排查是否存在封禁百度UA情况;
方案一:执行 curl --head --user-agent 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)' --request GET 'xxxxxxx'
注:正常返回码是200,其他情况为异常。
xxxxxxx为网站域名,如:http://www.chinaz.com。
正确识别和获取百度蜘蛛,https://ziyuan.baidu.com/college/articleinfo?id=2855
方案二:变更浏览器UA验证;
【建议方案】解除百度UA封禁:查看网站反爬虫策略,进行策略调整。或针对百度UA添加策略白名单。
3、以上验证均无异常,最后进一步排查是否存在IP级别的封禁;
常见的IP封禁,源自网站的防火墙系统配置,需要查看防火墙配置系统后台,检查是否存在百度蜘蛛的IP级别封禁措施。
【建议方案】解除百度IP封禁:查看网站反爬虫策略,进行策略调整。
相关SEO术语解释:
百度蜘蛛:百度蜘蛛,是百度搜索引擎的一个自动程序。它的作用是访问收集整理互联网上的网页、图片、视频等内容,然后分门别类建立索引数据库,使用户能在百度搜索引擎中搜索到相应网站的网页、图片、视频等内容。
百度索引:百度索引量是指有多少页面作为搜索候选结果。对于新站,由于收录比较慢,那么索引量一般远远大于收录,这是正常的现象,也是网站良好的表现,而且这些索引量在未来大部分可能会变成网站的可以搜索的收录量。
百度权重:百度权重是站长工具等网站推出的针对网站关键词排名预计给网站带来流量,划分等级0- 9 的第三方网站欢迎度评估数据。百度官方明确表示不承认百度权重。百度权重并不是像谷歌的PR、搜狗的SR、IBM hits等那样是对网站的综合评级的算法。百度权重只是针对关键词排名方面给网站带来的欢迎度进行评级。
声明:除非特别标注,否则均为本站原创文章,转载时请以链接形式注明文章出处。