访问和加载速度也是seo优化重要的一个因素，过多的蜘蛛访问会给服务器带来压力导致访问缓慢。
我们的网站日志，分析一下UA信息就可以清楚地看到有很多的无意义的垃圾蜘蛛在抓取，而且非常的频繁，关键是他们这些蜘蛛不能给网站带来任何的好处，就是频繁的访问和抓取也不会收录或者是带来搜索流量，这类蜘蛛完全可以屏蔽，禁止访问，降低服务器的开销。
分析和查看服务器的蜘蛛来访记录
我们的中文站点的话，其实基本上完全可以屏蔽这些蜘蛛的，反正也不会有任何的影响，其次我们其实通过robots.txt协议是没法屏蔽的，如果蜘蛛无视或者是不支持的话就还是会继续访问的。
常见的比如有这些：
AhrefsBot：Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)SemrushBot：Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)BLEXBot：Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)Applebot：Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1.1 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)YandexBot：Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)MJ12bot：Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)
说了那么多，那么如何屏蔽和禁止他们访问呢？
1、如果是有宝塔面板的话，宝塔的免费Nginx防护墙和付费的防火墙也是可以屏蔽useragent的，直接屏蔽这些UA或者是他们的特征值。
2、有部署cdn的话，那也简单，直接在cdn后台屏蔽这些蜘蛛的UA信息即可。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
相关文章
暂无评论...
汇集互联网优质网址收录导航的网站，网址导航，收录优质的游戏，音乐，动漫，电影，视频，图片，壁纸等各类型优秀网站，与搜索完美结合，提供最简单便捷的网上导航服务！本站立志成为综合网址导航的领导者和全国知名导航网的领先者！
