SEO网站优化推广运营

网页被robots屏蔽了,为什么还会被百度收录?

作者:admin 2016-09-02 10:11:50

问:这个问题困惑我很久了,为什么我网站的网页被robots屏蔽了之后,我从网站日志分析后还会能看到被百度抓取和收录呢?不是说屏蔽了以后就不会被抓取和收录了吗?这些页面都是我们老板千叮万嘱不让展现在百度的,现在都不知道怎么交差了,求解释。 答:我经常...

  问:这个问题困惑我很久了,为什么我网站的网页被robots屏蔽了之后,我从网站日志分析后还会能看到被百度抓取和收录呢?不是说屏蔽了以后就不会被抓取和收录了吗?这些页面都是我们老板千叮万嘱不让展现在百度的,现在都不知道怎么交差了,求解释。

  

 

  答:我经常遇到这样的情况,很多人都来问我:“为啥屏蔽了的页面还被抓取?”这里我简单的说下吧,一般有两种情况:

  第一种是:对已经收录的网页使用robots屏蔽,老网页按照robots规则的删除时间会很长,这个时候可能会造成百度没有遵守robots规则。

  第二种情况是:如果你屏蔽的页面或栏目存在大量的外链,那么这个网页或栏目的URL会被百度收录,但内容不会被百度索引,一般这样的多见于首页域名。当然,如果你连URL都不想被收录,可以针对蜘蛛返回404即可。

文章: 网页被robots屏蔽了,为什么还会被百度收录?

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;文章地址:http://www.laozhuseo.net/seoask/201608177.html

SEO教程SEO教程相关文章

  • 网页的主体内容较少,应该怎么优化? 文章建文件夹按照时间分类

    网页的主体内容较少,应该怎么优化? 文章建文件夹按照时间分类

    2016-09-02 10:11:00

  • 网页的导出链接多少是最合适的?

    网页的导出链接多少是最合适的?

    2016-09-02 10:12:18

  • 网站每天都被蜘蛛爬N遍,收录的网页为何只有一两篇?

    网站每天都被蜘蛛爬N遍,收录的网页为何只有一两篇?

    2016-09-02 10:13:09