广州网站建设公司|营销型网站制作|广州二月二网站建设

广州网站建设

关注我们:

百度关键词优化排名 先排名后收费
当前位置: 首页 > SEM搜索引擎营销 > robots.txt的规则误区及百度和Google的robots工具的使用 企业网站优化

 

robots.txt的规则误区及百度和Google的robots工具的使用 企业网站优化

 
   发布时间:2015-02-22 13:17:49
 
 

对于robots.txt文件对于网站的作用大家都知道,但是通过观察发现,有些朋友对于robots.txt文件的规则还是有一定的误区企业网站优化

比如有很多人这样写:

User-agent: *

Allow: /

Disallow: /mulu/

不知道大家有没有看出来,这个规则其实是不起作用的,第一句Allow: / 指的是允许蜘蛛爬行所有内容,广州网站制作第二句Disallow: /mulu/指的是禁止/mulu/下面的所有内容。

表面上看这个规则想达到的目的是:允许蜘蛛爬行除了/mulu/之外的网站所有页面。

但是搜索引擎蜘蛛执行的规则是从上到下,这样会造成第二句命令失效。

正确的规则应该是:

User-agent: *

Disallow: /mulu/

Allow: /

也就是先执行禁止命令,再执行允许命令,这样就不会失效了。

另外对于百度蜘蛛来说,还有一个容易犯的错误,那就是Disallow命令和Allow命令之后要以斜杠/开头,所以有些人这样写:Disallow: *.html 这样对百度蜘蛛来说是错误的,应该写成:Disallow: /*.html 。

有时候我们写这些规则可能会有一些没有注意到的问题,现在可以通过百度站长工具(zhanzhang.baidu.com)和Google站长工具来测试。

相对来说百度站长工具robots工具相对简陋一些:

企业网站优化

百度Robots工具只能检测每一行命令是否符合语法规则,但是不检测实际效果和抓取逻辑规则。

相对来说Google的Robots工具好用很多,如图:

在谷歌站长工具里的名称是抓取工具的权限,并报告Google抓取网站页面的时候被拦截了多少个网址。

还可以在线测试Robots修改后的效果,当然这里的修改只是测试用,如果没有问题了,可以生成robots.txt文件,或者把命令代码复制到robots.txt文本文档中,上传到网站根目录。

广州网站优化 />

Google的测试跟百度有很大的区别,它可以让你输入某一个或者某些网址,测试Google蜘蛛是否抓取这些网址。

百度关键词优化

测试结果是这些网址被Google蜘蛛抓取的情况,这个测试对于Robots文件对某些特定url的规则是否有效。

而两个工具结合起来当然更好了,这下应该彻底明白robots应该怎么写了吧。

转载请注明来自逍遥博客,更多广州网站建设资讯访问: www.SEOUEOSEM.com

 

 

SeoUeoSem企业网站建设8大功能

更多»
  •  

    基于搜索引擎优化营销型网站
    自然排名优先竞争对手

  •  

    整合所有网络营销资源
    一站式服务,打造企业级平台

  •  

    个性化企业网站设计
    让您企业网站与众不同

  •  

    会打字,就会自助建站
    全智能,即开即用

  •  

    顶级域名
    独一无二的品牌形象

  •  

    精准网络营销
    一击即中,实现高效率成交

  •  

    智能搜索引擎优化
    实现全部互联互通,优化排名

  •  

    智能CDN全球布置
    自由选择服务器,快速访问

服务与项目

广州网站制作

企业网站建站

基于网站优化SEO基础实践而开发的系统,自然排名超越竞争对手

整合网络营销

百度优化排名

百度关键词优化排名首页、先排名后收费、担保交易

在线客服软件

在线客服系统

即时网页对话,变流量为销量,抓住每一个潜在的客户

400电话

企业400号码

提升企业形象,400电话号码营销,成交更多

联系我们

客服热线:020-8844 7951
服务邮箱: info@seoueosem.com

联系在线客服

在线留言

 

如果您对我们有更多的功能需求或者建议,请到在线留言提出您的宝贵意见。