章丘企业网站建设_章丘制作网站公司_网站设计

    当用户试图访问一个不存在的URL时，服务器会记录404个错误（找不到文件）。每当蜘蛛搜索一个不存在的robots.txt文件时，服务器也会在日志中记录404个错误，所以你应该在网站上添加robots.txt。今天，合肥网络公司的小李将带你学习语法。机器人的格式。TXT。

    robots.txt文件包含一个或多个由空行分隔的记录（以cr、cr /nl或nl作为终止符）。每个记录的格式如下：在该文件中，您可以使用与Unix中相同的方法使用进行注释。该文件中的记录通常以一行或多行用户代理开头，后跟多个不允许行，如下所示：

    用户代理：

    在robots.txt文件中，如果有多个用户代理记录指示多个机器人将受robots.txt的限制，则此项的值设置为*，对于任何机器人都有效。在robots.txt文件中，只能有一个记录，如user agent:*。如果user agent:somebot和多个disallow和allow行添加到robots.txt文件中，则名称somebot仅受user agent:somebot后的disallow和allow行的限制。

    不允许的：

    该值可以是路径的完整路径，也可以是路径的非空前缀，并且以不允许项的值开头的URL将不会被机器人访问。例如，disallow:/help禁止机器人访问/help.html、/helpabc.html、/help/index.html，而disallow:/help/允许机器人访问/help.html、/helpabc.html，and cannot access /help /index.html.disallow:指定允许机器人访问站点的所有URL在/robots.txt 章丘企业网站建设文件中至少应有一个不允许记录。如果/robots。txt'不存在或是一个空文件，该网站对所有搜索章丘企业网站建设引擎机器人都是开放的。若要截取整个网站，请使用向前和倾斜的肩膀。不允许：/。要截取目录及其所有内容，请向前和倾斜添加。不允许在目录名后加上/private_directory。要截取一个页面，请列出该页面。不允许：/private_file.html

    允许：

    与不允许项目类似，此值可以是路径的完整路径或前缀，并且以允许项目值开头的URL可由机器人访问。例如，allow:/hibaidu允许机器人访问/hibaidu.htm、/hibaidu.html、/hibaidu/com.html。默认情况下，网站的所有URL都是允许的，因此allow通常是我们不允许访问某些网页和禁止访问所有其他URL。注意：不允许和允许行的顺序是有意义的。robot将根据第一个匹配的允许行或不允许行来确定是否访问URL。

    使用*匹配字符序列

    您可以使用星号（*）来匹配字符序列。例如，拦截对以专用开头的所有子目录的访问。

    用户代理：google bot disallow:/special*/要阻止对包含问号（）的所有网站的访问，请使用以下条目：用户代理：*disallow:/*使用$匹配地址的结束字符

    可以使用$字符指定与地址结束字符的匹配项。例如，截取以结尾的网站。asp，可以使用以下条目：user agent:google bot disallow:/*。ASP$您可以将此模式匹配与允许指令结合使用。例如，如果您表示会话ID，则可以排除包含该ID的所有站点，以确保搜索引擎蜘蛛不会对重复的页面进行爬网。但是，Web的结尾

    地址可能是要包含的页面版本。在这种情况下，robots.txt文件可以设置如下：用户代理：*允许/*$不允许/*

    disallow:/*行将截取包含的地址（具体来说，它将截取以您的域名开头、后跟任何字符串、后跟问号（）和任意字符串的所有地址）。

章丘企业网站建设    

    allow:/*$line将允许任何结束的网址（具体来说，它将允许所有以您的域名开头、后跟章丘企业网站建设 任何字符串、后跟问号（）、后跟任何字符的网址）。