须要把稳的是，Googlebot抓取网站页面的频率并不影响该页面在指定搜索查询中的排名。但优化抓取预算可能会勾引Googlebot创造网站上较为主要的内容。反过来，这可能会影响个中一些页面的排名，尤其是在没有索引的情形下。
2017年，谷歌的研究职员Gary Illyes描述了谷歌是如何决定一个指定网站的抓取预算的，即包含三个部分：抓取限定、抓取需求和其他成分。
抓取限定——为了不降落用户访问网站的体验，谷歌限定了指定网站的最大抓取频率，如果有迹象表明Googlebot正在影响网站的性能，它就会放慢抓取速率，减少访问网站页面的频率。这可能意味着有些页面根本没有索引，相反，如果Googlebot得到做事器的快速相应，它可能会增加访问的频率和强度。
抓取需求——纵然抓取速率没有受到限定，如果没有索引的需求，Googlebot的生动程度也会降落。索引需求可以采纳两种形式，对付盛行的网站而言，谷歌会想要确保它已经索引到了最新的内容。
其次，谷歌不肯望索引迂腐。因此如果Googlebot访问一个站点已经有一段韶光了，纵然它不受欢迎，也会有相对较大的抓取需求。
其他成分——内容质量和网站构造也很主要。建议避免低质量的内容、某些类型的分面导航、重复或类似的内容。低质量的页面将会花费抓取预算的很大一部分，这将抢占网站上的有代价的页面抓取活动。
如何优化抓取预算？
用于优化抓取预算的方法也有助于搜索引擎的优化。以下是五个技巧，可以帮助你的电商网站优化爬行预算。纵然你的网站没有抓取预算问题，这些方法也同样有利于SEO。
1、优先考虑Googlebot抓取的内容。让Googlebot屏蔽网站的部分内容，例如一些政策页面、感谢页面、广告着陆页等等。反之，尽可能的增加包含在谷歌索引中的产品页面数量。因此，利用robots.txt和nofollow指令可能对爬行预算优化大有帮助。
2、确保拥有一个精良的网站舆图。网站舆图是谷歌创造URL的紧张办法之一。虽然不能担保谷歌会抓取或索引指定的页面，但是网站舆图可以为你供应帮助。你的网站舆图该当是同等的，对付大型网站而言则该当是动态的。
3、减少缺点和重定向链。当Googlebot访问网站上的一个页面时，会收到一个状态码200（意思是统统正常）或者一个永久重定向码301。但是要确保一个重定向不会导致链中的另一个重定向。
4、提高网站性能。如果谷歌机器人密集地抓取做事器，则解释其效率正不才降，那么它的速率就会减慢，在这种情形下，在指定时间内抓取的URL数量肯定会减少，因此提高网站性能与爬行预算优化密不可分。
5、保持更新。该当定期更新和整理，为产品细节页面、博客文章和迂腐的内容增加新内容。
（编译/雨果网 宋淑湲）
【特殊声明】未经容许赞许，任何个人或组织不得复制、转载、或以其他办法利用本网站内容。转载请联系：editor@cifnews.com
