SemrushBot是什么蜘蛛?需要屏蔽吗?

科技2周前发布 iowen
12 0 0

如果你经常查看网站日志,那么你应该会发现有一些不认识的搜索引擎蜘蛛在抓取你的网站。之前悦然网络工作室就看到一个名为SemrushBot的蜘蛛,抓取特别频繁,那么这个蜘蛛对网站有影响吗,需要屏蔽吗?

SemrushBot是什么蜘蛛?

SemrushBot是什么蜘蛛?需要屏蔽吗?

想要知道答案,我们就得先了解一下SemrushBot蜘蛛的出处。这是一个在线SEO分析平台的蜘蛛,他们的官网是www.semrushchina.cn,对国内网站用户来说,大家可能对它有些陌生,但是有很多做外贸的朋友应该都知道或使用过它,它在行业内还是比较知名的。

它对网站有害吗?

通过以上了解,相信大家已经大概明白,SemrushBot蜘蛛是一个正规的蜘蛛,至少它对你的网站是没有害处的,一般情况下我们不用去管它,如上图,悦然网络工作室的官网也有SemrushBot蜘蛛来抓取。

需要屏蔽吗?

即然SemrushBot蜘蛛对我们的网站没有害处,那么我们也就不用对它进行屏蔽了。不过也有例外情况,如果你的网站服务器配置比较差,过多的蜘蛛抓取可能会影响网站速度,所以你也可以选择对SemrushBot蜘蛛进行屏蔽,操作如下:

打开网站robots.txt文件,把下面的两行内容加进去就可以了。

user-agent: SemrushBot 
disallow: /

总结

一般情况下,对一个网站来说,搜索引擎蜘蛛的抓取是多多益善的,当然前提得是正规蜘蛛,同时你的网站服务器也需要有足够的承受蜘蛛抓取的能力。

© 版权声明

相关文章

暂无评论

暂无评论...