当前位置: 首页 » 帮助中心 » SEO优化 » 正文

为什么站内私密性网页也会被百度收最?

发布日期:2015-09-02  来源:destoon模板

BaiduSpider对网页的抓取,是通过网页与网页之间的链接实现的。网页之间的链接类型,除了站点内部的页面链接之外,还有不同网站之间的互相链接。因此,某些网页即便通过你的网站内部链接无法访问到,但是,如果别人的网站上有指向这些页面的链接,那么这些页面还是会被搜索引擎所收录。百度spider的访问权限和普通用户是一样的。因此,普通用户没有权限访问的内容,Spider也没有权限访问。之所以看上去某些访问权限限制的内容被百度收录,原因有两点:

(1)该内容在spider访问时是没有权限限制的,但抓取之后,内容的权限发生了变化。

(2)该内容有权限限制,但是由于网站安全漏洞问题,导致用户可以通过某些特殊路径直接访问。而一旦这样的路径被公布在互联网上,则Spider就会循着这条路径抓出受限内容。

如果你不希望这些私密性内容被百度收录,可以通过robots协议加以限制;也可以通过反馈中心反馈给我们进行解决。同样也可以针对百度Spider返回404,以避免被百度收录。

 

 
 
 
网站首页 关于我们 联系我们 如何购买 索取发票 网站地图 企业建站 网站留言 | 粤ICP备13084501号-7
在线客服