1.什么是robots文件？

Robots文件实际上指的是网站协议。 这是搜索引擎访问网站时抓取的第一个文件。 它的主要功能是自由设置网站的内容，哪些是可以抓取的，哪些是不可以抓取的。

2. 机器人文件设置

1. User-agent，定义搜索引擎类型。

2.crawl-delay，定义抓取延迟。

3.disallow，定义禁止被搜索引擎收录的地址。

4.允许，定义可以被搜索引擎收录的地址。

3. robots文件的重要性

1、网站优化必须避免重复页面，但很多人并不关心这一点。 如今，主流网站往往会产生零价值的页面，例如自动缓存页面、搜索页面等，这些页面的内容往往包含与主题内容重复的元素，而且根本没有任何效果。 如果搜索引擎抓取此类页面，可能会对网站造成严重的负面影响。

2、原创文章内容更容易受到搜索引擎的喜欢和青睐。 这不仅涉及到创意文章，另一方面，创意网站模板也是一个非常重要的评分点。 因此，如果网站模板不是原创的，最好屏蔽css目录和template目录。

3、Robots文件还可以用来屏蔽隐私页面、后台登录页面、图片目录等无用页面。

4、robots文件有利于大大提高搜索引擎蜘蛛抓取网站的效率。 有利于帮助搜索引擎蜘蛛更好地了解网站内容，从而避免在一些无用的页面上浪费过多的时间，并且有利于节省资金。 是时候爬行网站了。

网络推广