对付很多站长来说Robot.txt是必修课之一，但是一提到这个协议，大家可能都会说这不便是用于网站和搜索引擎互换的通用协议嘛，难道菜头师长西席阐明的能有百度百科详细吗?看到这可能你也会认为它只是一个赞助的东西，但是在菜頭师长西席看来虽然它很小，但是很可爱，更是很关键的一个协议。由于存在太多太多的细节我们须要去考虑了。
大家都会知道，网站培植尤其是一些电子商务网站的培植，细节哀求真是浩如烟海。但是这些细节如果稍有不把稳就会对全体网站造成严重的侵害，那么菜頭师长西席本日帮您剖析一下Robot.txt这个细节，我们平时到底该把稳哪些细节呢?
第一、须要屏蔽动态化链接
当网站做好静态化或者伪静态化后，我们须要屏蔽掉前面的动态页面所产生的链接。详细的写法是这样的：Disallow: /? ，英文状态下书写哦。
第二、把稳“/\"大众的差异
很多站长都会认为在Robot.txt协议中加不加“/”都是无关紧要的事情。但是菜头师长西席在这里认为这是大大的缺点。举个例子，Disallow; /s 与Disallow: /s/的差异，前者对付搜索引擎的蜘蛛来说便是禁止抓取所有含有s开头的页面或者目录，而后者可能提醒蜘蛛的是不要抓取是目录下的页面。这两种差异真的是天差万别，菜頭师长西席在做的时候可能会选择后者，由于前者会造成广范围的“误杀”。
第三、CSS和JS须要屏幕吗?
在很多站长看来，这个是须要的。但是菜头师长西席只能说google站长工具明确的解释：封禁css与js调用，可能会影响页面质量的判断，从而影响排名。通过实践百度方面也会有相类似的影响。
第四、对付已经删除过的目录或页面该怎么办呢?
图片来源于网络
对付已经删除的页面或者目录，很多站长都会选择屏蔽。但是这些页面或目录其实在删除前已经被搜索引擎收录了。屏蔽，真是一个号的选择吗?答案显然是不对的。最佳的做法，菜头师长西席认为还是把这些页面详细的整理出来，并且集中的提交一下。然后自定义404页面。这样做的目的是正面应对，而不是躲避。
以上小小剖析代表，菜头师长西席（caitoultt）的心意，欢迎互换哦。
