就针对这次我们的这个网站来看,网站开启防火墙对seo的紧张影响便是抓取问题,我的这个网站再开启第二道防火墙的时候,第二天网站在百度的排名就全没了,一查收录也变成零,后来通过站长平台的抓取诊断工具一测,创造网站根本没办法抓取,原来所有的ip在访问之前都要先通过防火墙,防火墙会对搜索引擎蜘蛛进行拦截,这样抓取之后返回的状态码都是503(做事器缺点),之后通过抓取非常工具创造防火墙上的第二天所有页面抓取返回的状态码都是503,好家伙当时我就脑袋一大,赶紧找技能职员研究对策。
后来通过测试蜘蛛的抓取ip加入防火墙白名单之后,这回再测试网站就显示抓取成功了,当天下午网站的收录就回来了,栏目和文章页排名也都回来了,这幸好创造的及时,否则的话后果不堪设想,但我还是有点担心,做过seo的朋友大家都知道,搜索引擎的蜘蛛ip是非常多的,而且分类大概多,有专门抓取图片的ip,有专门提权的ip,也有专门降权的ip等等,如果只通过加ip白名单的办法来对搜索引擎ip进行过滤,那肯定是加不全的,这就势必会导致有些搜索引擎的ip还是会被拦截在外,以是最好的办法便是通过判断user-agent来区分搜索引擎蜘蛛,这样就能很好的办理这个问题。但就目前的防火墙来看,彷佛都没有这个功能,只有ip白名单的功能,因此在这里也替广大的seo们呼吁一下防火墙制作职员,再开拓希望能把这个功能进入进去,这样可以让网站开启防火墙的时候极大程度的降落对seo的影响。
通过我的先容,相信大家已经知道网站开启防火墙对seo有什么影响了吧,没错紧张便是搜索引擎的抓取问题,因此干系的seo职员应该制订一个网站开启防火墙操作流程,第一步便是在网站开启防火墙之前,先测试搜索引擎主区网站时的ip,将ip找到之后加入到防火墙ip白名单(现阶段只能通过这个方法暂时办理抓取问题),然后等网站开启防火墙的时候通过抓取测试工具测试是否可以正常抓取,再不雅观察抓取非常数据看是否有非常情形。
