百度站长平台权威解答:Baiduspider遵守互联网robots协议。您可以利用robots.txt文件完全禁止Baiduspider访问您的网站,或者禁止 Baiduspider访问您网站上的部分文件。 注意:禁止Baiduspider访问您的网站,将使您的网站上的网页,在百度搜索引擎以及所有百度提供搜索引擎服务的搜索引擎中无法被搜索到。关于 robots.txt的写作方法,请参看我们的介绍:robots.txt写作方法

您可以根据各产品不同的user-agent设置不同的抓取规则,如果您想完全禁止百度所有的产品收录,可以直接对Baiduspider设置禁止抓取。

以下robots实现禁止所有来自百度的抓取:

User-agent: Baiduspider

Disallow: /

以下robots实现禁止所有来自百度的抓取但允许图片搜索抓取/image/目录:

User-agent: Baiduspider

Disallow: /

User-agent: Baiduspider-image

Allow: /image/

请注意:Baiduspider-cpro抓取的网页并不会建入索引,只是执行与客户约定的操作,所以不遵守robots协议,如果Baiduspider-cpro给您造成了困扰,请联系union1@baidu.com。

Baiduspider-ads抓取的网页并不会建入索引,只是执行与客户约定的操作,所以不遵守robots协议,如果Baiduspider-ads给您造成了困扰,请联系您的客户服务专员。

相关SEO术语解释:

百度蜘蛛:百度蜘蛛,是百度搜索引擎的一个自动程序。它的作用是访问收集整理互联网上的网页、图片、视频等内容,然后分门别类建立索引数据库,使用户能在百度搜索引擎中搜索到相应网站的网页、图片、视频等内容。

百度K站:百度K站有轻重之分,刚开始可能会快照回档,关键词排名大幅度下降,但是没有掉到 100 以后。这些是初期不良的状态。到中期,如果站长还没有做改善,快照会被打到无百度快照,关键词排名全部 100 以外,这是严重警告。如果后期还不改善的话,就是降权了。

百度索引:百度索引量是指有多少页面作为搜索候选结果。对于新站,由于收录比较慢,那么索引量一般远远大于收录,这是正常的现象,也是网站良好的表现,而且这些索引量在未来大部分可能会变成网站的可以搜索的收录量。