网站建设问答小编今天给大家整合了一篇有关《如何使用Robots避免蜘蛛黑洞？》的文章，关于如何使用Robots避免蜘蛛黑洞？的详细内容欢迎往下阅读，下面就由小编一一给大家介绍，一起去了解吧！

　　蜘蛛黑洞：

　　蜘蛛黑洞指的是网站通过极低的成本运营，制造出大量和内容相识但参数不同的动态URL，像一个无限循环的“黑洞”将蜘蛛困住，蜘蛛花费太多的时间在网站，浪费了大量资源抓取的网页为无效网页。

　　如果你的网站存在蜘蛛黑洞现象，尽快的处理好，蜘蛛黑洞不利于网站的收录，也会影响搜索引擎对网站的评分。

　　如何使用Robots避免蜘蛛黑洞？

　　如何利用Robots避免蜘蛛黑洞操作：

　　普通的筛选结果页基本都是使用静态链接，比如：

　　http://bj.XXXXX.com/category/zizhucan/weigongcun

　　当用户选择不同排序后，会自动生成带有不同参数的动态链接，即使选择是同一种排序条件，生成的参数也有不同的，比如：

　　http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek

　　http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

　　把带有不同参数的结果排序页面使用robots规则拒绝，告知搜索引擎，让搜索引擎只抓取筛选结果页，为用户和搜索引擎节省时间。

　　Robots文件写法中Disallow:/*?*禁止访问网站中所有包含问号(?)的网址，通过这种方式，如果网站的无效页面不希望被搜索引擎收录，可以屏蔽掉低质量的页面，告诉搜索引擎哪些页面可以抓取，有效的避免黑洞的形成。

  目前，《如何使用Robots避免蜘蛛黑洞？》页面仍在完善中，后续将为您提供丰富、全面的关于《如何使用Robots避免蜘蛛黑洞？》的最佳回答，小编将持续从百度问答、百度百科、搜狗问答、搜狗百科、微博问答、头条百科、悟空问答、知乎热门问答以及部分合作站点渠道收集和补充完善信息。

  深圳蚂蚁网络网站建设公司提供，系统定制，微信开发、小程序定制、微商城开发、网站建设、网站排名优化推广等互联网项目定制开发服务。版权声明：如发现内容存在版权问题，烦请提供相关信息发邮件至3310459304@qq.com，我们将及时沟通与处理。本站内容均来源于网络，涉及言论、版权与本站无关。