在本篇文章中，我们将先容什么这天记文件，它们为何如此主要，要探求的内容以及利用哪些工具。末了，我将供应8种可行的方法来剖析。
什么是做事器日志文件？做事器日志是由做事器自动创建和掩护的日志文件（或多个文件），由它实行的活动列表组成。
出于SEO的目的，我们关注一个Web做事器日志，个中包含来自人类和机器人的网站页面要求的历史记录。有时也称为访问日志，原始数据如下所示：
是的，起初数据看上去有点令人不知所措，令人困惑，以是让我们分解一下，更仔细地看一下“命中”。
命中范例每个做事器在记录命中方面都有实质上的不同，但是它们常日会供应类似的信息，这些信息被组织成字段。
以下是对Apache Web做事器的示例命中（这是简化的-一些字段已被删除）：
50.56.92.47 – – [25 / 5 / 2020：12：21：17 +0100]“ GET” –“ /wp-content/themes/esp/help.php” –“ ”“-”“ Mozilla / 5.0（兼容； Googlebot / 2.1； + http：//www.google.com/bot.html）” – www.example.com –
如您所见，对付每次匹配，我们都会得到关键信息，例如日期和韶光，要求的URI的相应代码（在本例中为404）以及要求来自的用户代理（在本例中为Googlebot） ）。您可以想象，日志文件每天由成千上万的点击数组成，每当用户或漫游器到达您的网站时，就会为要求的每个页面记录许多点击数-包括图像，CSS和呈现该文件所需的任何其他文件。
为什么如此主要？以是您知道什么这天记文件，但是为什么值得花韶光剖析它们？
好吧，事实是，只有一个真实的记录可以解释搜索引擎（例如Googlebot）如何处理您的网站。那便是通过查看网站的做事器日志文件。
站长工具，第三方爬虫和搜索操作员不会全面理解搜索引擎如何与网站互动。只有访问日志文件可以为我们供应此信息。
我们如何将日志文件剖析用于SEO？日志文件剖析为我们供应了大量有用的见地，包括使我们能够：
准确验证可以或不能爬取的内容。查看搜索引擎在其征采期间碰着的相应，例如302，404，软404。识别爬网毛病，这些毛病可能具有更广泛的基于站点的含义（例如层次构造或构造）。查看搜索引擎优先考虑哪些页面，并可能将其视为最主要的页面。创造征采预算摧残浪费蹂躏的区域。我将带您完成在日志文件剖析期间可以实行的一些任务，并向您展示它们如何为您供应可操作的网站见地。
如何获取日志文件？对付这种类型的剖析，您须要来自您域的所有Web做事器的原始访问日志，而没有运用任何过滤或修正。空想情形下，您须要大量数据才能使剖析有代价。值得多少天/周取决于站点的大小和权限以及所产生的流量。对付某些站点，一周可能就足够了，对付某些站点，您可能须要一个月或更永劫光的数据。
您的Web开拓职员该当能够为您发送这些文件。值得一问，在它们发送给您之前，日志是否包含来自多个域和协议的要求，以及这些要求是否包含在此日志中。由于否则，将阻挡您精确识别要求。您将无法分辨对http://www.example.com/和://example.com/的要求之间的差异。在这种情形下，您该当哀求开拓职员更新日志配置，以在将来包含此信息。
我须要利用哪些工具？如果您是Excel专家，那么本指南对付帮助您利用Excel格式化和剖析日志文件非常有用。我们利用Screaming Frog日志文件剖析器，其友好的用户界面使您可以快速，轻松地创造任何问题（只管可以说，您得到的深度或自由度与利用Excel所得到的不一样）。我将为您先容的所有示例都是利用Screaming Frog日志文件剖析器完成的。 其他一些工具是Splunk和GamutLogViewer。
剖析SEO日志文件的9种方法1.找出摧残浪费蹂躏征采预算的地方首先，什么是抓取预算？综合爬网率和爬网需求，我们将爬网预算定义为搜索引擎蜘蛛或机器人可以并且想要爬网的数量。
实质上，它是搜索引擎每次访问您的网站时将爬网的页面数，并关联到域的权重，并与通过网站的链接资源成比例。
对付日志文件剖析而言，至关主要的是，有时爬网预算可能会摧残浪费蹂躏在无关的页面上。如果您有新内容要体例索引，但没有预算，那么搜索引擎将不会为新内容体例索引。这便是为什么要通过日志文件剖析来监视爬网预算的支出缘故原由。
影响抓取预算的成分有许多低附加值的URL会对网站的爬网和索激发生负面影响。低附加值URL可以属于以下种别：
分面导航，动态URL天生和会话标识符（电子商务网站常用）现场重复内容被黑的页面软缺点页面低质量和垃圾内容摧残浪费蹂躏诸如此类页面上的做事器资源会摧残浪费蹂躏实际具有代价的页面的爬网活动，这可能会导致在站点上创造良好内容的韶光大大延迟。
例如，查看这些日志文件，我们创造一个禁绝确的主题被非常频繁地访问，这个问题很明显！
在查看每个页面得到的事宜数量时，叨教自己搜索引擎是否该当爬网这些URL –您常日会找到答案是否定的。因此，优化您的抓取预算将有助于搜索引擎抓取您的网站上最主要的页面并将其编入索引。您可以通过多种办法来实行此操作，例如通过文件阻挡包含某些模式的URL，从而避免对URL进行爬网。
2.您的主要页面是否被完备检索？我们已经先容了为什么对搜索引擎来说主要的是不要在低代价网页上摧残浪费蹂躏抓取预算。硬币的另一壁是检讨您对高代价网页的重视程度。如果按事宜数排序日志文件并按HTML过滤，则可以看到访问量最大的页面。
如果说最主要的URL该当进行最大程度的爬网，可能有点过分大略了-但是，如果您是潜在客户网站，则希望您的主页，关键做事页面和文章内容涌如今个中。
作为电子商务网站，您希望您的主页，种别页面和关键产品页面显示在个中。如果您看到不再发卖的旧产品页面并且这些结果中最主要的种别页面为零，则解释存在问题。
3.您所有的目标搜索引擎机器人都正在访问您的页面吗？坚持利用日志剖析工具，这很随意马虎实行。我们知道对外贸易中Google是紧张的搜索引擎，因此确保Googlebot Smartphone和Googlebot定期访问您的网站是您的紧张任务。
我们可以通过搜索引擎bot过滤日志文件数据。
过滤后，您可以查看每个所需的搜索引擎机器人正在记录的事宜数。希望您会看到Googlebot Smartphone或Googlebot最常访问您的网站。
4.创造缺点的状态码利用Screaming Frog日志文件剖析器，您可以快速创造缺点状态码，并且由于它们是按爬网频率排序的，因此您还可以查看哪些是最可能要修复的URL。
要查看此数据，您可以在“相应代码”标签下过滤此信息
查找具有3xx，4xx和5xx HTTP状态的页面
他们常常去吗？ 访问3xx，4xx和5xx的页面是否比您的主要页面访问量还多？相应代码有任何模式吗？在一个项目中，命中率最高的前15个页面中有重定向，禁绝确的302（临时）重定向，页面上没有内容的页面以及一些404和软404。
通过日志文件剖析，一旦创造问题，就可以通过更新禁绝确的重定向和软404来开始办理该问题。
5.突出显示不一致的相应代码只管剖析搜索引擎将碰着的末了一个相应代码很主要，但突出显示不一致的相应代码也可以使您得到更深刻的见地。
如果您只看末了的相应代码，而没有创造非常缺点或4xxs和5xxs中的任何尖峰，则可以在那里进行技能检讨。但是，您可以在日志文件剖析器中利用过滤器来仅详细查看“不一致”的相应。
缘故原由很多，您的URL可能会碰着不一致的相应代码。例如：
5xx和2xx稠浊–当它们承受严重负载时，这可能表示做事器涌现问题。4xx和2xx稠浊–这可能指向已涌现或已修复的断开链接一旦节制了日志文件剖析中的这些信息，就可以创建行动操持来修复这些缺点。
6.审核大页面或慢页面我们知道到第一个字节的韶光（TTFB），到末了一个字节的韶光（TTLB）以及到全体页面加载的韶光都会影响您的网站的爬网办法。尤其是TTFB，这是使您的网站快速有效地爬网的关键。页面速率也是排名成分，我们可以看到快速网站对您的性能至关主要。
利用日志文件，我们可以快速查看您网站上最大的页面，而最慢的页面。
要查看最大的页面，请对“均匀字节数”列进行排序。
在这里，我们可以看到PDF构成了网站上最大的页面。优化它们并减小它们的大小是一个很好的出发点。如果您看到此处显示特定页面，则可能须要单独查看它们。
它们覆盖有高分辨率图像吗？他们有视频自动播放吗？它们是否有不必要的自定义字体？是否启用了文本压缩？只管页面的大小可以很好地指示页面变慢，但这并不是全部。您可以有一个很大的页面，但是它仍旧可以快速加载。排序“均匀相应韶光”列，您可以看到相应韶光最慢的网址。
与您在此处看到的所有数据一样，您可以按HTML，JavaScript，图像，CSS等进行筛选，这对付审核非常有用。
大概您的目标是减少网站对JavaScript的依赖，并希望找出最大的罪魁罪魁。或者您知道CSS可以简化，并且须要数据来备份它。您的网站可能会以蜗牛的速率加载，并且按图像进行过滤向您表明，供应下一代格式该当是优先事变。
7.检讨内部链接和爬网深度的主要性该日志文件剖析器的另一个主要功能是能够导入网站的爬网。这确实很随意马虎实现，并为您供应了更多从日志文件中进行剖析的灵巧性。只需将爬网拖放到如下所示的“导入的URL数据”中即可。
完成后，您可以进行进一步的剖析。
确保不才拉菜单“与URL数据匹配”中进行选择，然后将干系列拖动到视图中。在这里，我们可以对爬网深度和链接对您网站的爬网频率的影响进行批量剖析。
例如，如果您的“主要”页面不常常被抓取，并且创造它们的链接很少，并且抓取深度大于3，这很可能便是为什么您的页面没有被抓取太多的缘故原由。相反，如果您有一个页面被大量爬网，并且不愿定为什么，请查看页面在您网站中的位置。链接在哪里？距根有多远？对此进行剖析可以向您表明搜索引擎喜好您的。终极，该技能可以帮助您确定层次构造和站点构造中的任何问题。
8.创造伶仃页面末了，通过导入爬网数据，创造伶仃页面很随意马虎。孤儿页面可以定义为搜索引擎知道并且正在爬网但未在您的网站内部进行链接的页面。
选择下拉菜单“不在URL数据中”将显示日志中存在的URL，而不是您的抓取数据中存在的URL 。因此，此处显示的URL将是搜索引擎机器人仍旧认为具有代价的页面，但不再涌如今网站上。涌现伶仃URL的缘故原由有很多，个中包括：
网站构造变更内容更新旧的重定向网址内部链接禁绝确禁绝确终极，您须要查看找到的伶仃URL，并作出判断来处理它们。
末了的想法这便是我们对日志文件剖析和8个可操作任务的简短先容，您可以立即利用Screaming Frog日志文件剖析器开始。在Excel和上述其他工具（以及其他工具）中，您还可以做更多的事情。
您如何进行日志文件剖析？您认为哪种工具最有效？我们的SEO团队很想知道，不才面揭橥评论吧！
