前面的分享中我们已经知道了robots协议的作用是规范搜索引擎对网站的抓取的，我们可以通过robots协议告诉搜索引擎那些内容禁止被抓取收录，哪些内容可以正常抓取。因此robots协议在编写的时候要十分谨慎，一个网站可以没有robots协议，如果给网站加了robots协议，就一定不能出错，因为robots协议一旦出错就会很麻烦。
那到底什么情况下才需要robots协议呢？
1、统一路径
当网站的某部分内容可以通过不同的路径访问时，需要通过robots协议屏蔽一部分路径，只保留一个可以正常访问的路径。因为当同一内容出现多个路径时，用户会通过不同的路径访问这部分内容，一方面会降低用户的体验，另一方面还会造成这部分内容的权重被分散到各个可以访问该内容的路径上，进而影响整体的排名；
2、页面出现搜索链接
当搜索引擎蜘蛛爬取搜索路径的时候就像我们正常使用搜素引擎一样，会不断的有新页面出现，使得爬取进入无止尽的循环当中，因此必须让搜素引擎蜘蛛绕过搜素路径；
3、中文路径
虽然现在已经有搜索引擎能识别中文路径了，但搜索引擎对中文路径依然不友好，因此如果网站上出现中文路径时可以通过robots协议屏蔽；
4、js文件
js文件里面是给网站添加的一些特效，虽然js特技可以使你的网站变得非常华丽，但这些内容并不是用户想要关心的内容，用户想要的知识可以解决他们问题的文本内容，因此js文件也没有必要展现给搜索引擎；
出现以上四种情况的任何一种都需要使用robots协议，robots协议写好之后只需上传到网站根目录下即可。当然协议上传之后并不会马上生效，一般几天到两个月以内都属正常。另外，在写robots协议的时候【千万注意】不要屏蔽整站。
