robots是什么

robots是网站跟蜘蛛间的协议，当拜访站点时，它首先反省机器人能否存在于站点的根目录中。假如找到，蜘蛛就会依照该文件中的内容来确定拜访的范围,假如该文件不存在,那么搜索机器人就沿着链接抓取。一定要留意txt文件必需放在站点的根目录中，文件名必需为小写。

robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被搜索引擎拜访的局部，或许指定搜索引擎只收录指定的内容。因而，机器人的优化将直接影响到搜索引擎对站点的收录。

只要在需求制止抓取某些内容时，才写robots。一些效劳器设置是成绩：当机器人文件不存在时，它前往200个形态代码和一些错误音讯，而不是404页面，这是由于搜索机器人误读了robots文件信息。

robots mate是什么

robots meta标签次要是针对一个个详细的页面。和其他的meta标签(如运用的言语、页面的描绘、关键词等)一样， robots meta标签也是放在页面的head>中，专门用来通知搜索引擎机器人如何抓取该页的内容。

follow指令表示搜索机器人可以沿着该页面上的链接持续抓取下去；

robots meta标签的缺省值是index和follow；

index指令通知搜索机器人抓取该页面；

robots meta标签中没有大小写之分，name=“robots”表示一切的搜索引擎，可以针对某个详细搜索引擎写为name=“ baiduspider' content局部有四个指令选项index、noindex、follow、nofollow，指令间以“，”分隔。

Robots和robots mate的区别

目前来说，一切的搜索引擎都支持和恪守robots.txt的规则，但是支持robots mate的却比拟少，大家可以酌情运用。www.337.com.cn/seo/