机器人协议做SEO网站优化就知道了，是用来禁止搜索引擎爬行或爬行的，比如：淘宝是设立机器人协议的，我们搜索淘宝除了标题上没有任何网站信息显示，这是机器人协议的作用。
    
     OBOTS协议的全称（也称为爬虫协议、机器人协议等）是机器人排除协议（机器人排除协议）。网站通过机器人协议告诉搜索引擎，页面可以被爬行，哪些页面不能被爬行。
    
     为什么要使用robots.Txt告诉搜索机器人不要抓取我们的部分网页，如后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图像、背景图像等。都是由搜索引擎包含的，用户看不见，更需要密码来输入或数据文件。在这种情况下，允许搜索机器人爬行浪费了服务器资源，增加了服务器的压力，所以我们可以使用机器人。TXT告诉机器人专注于我们的文章页面，增强用户体验。
    
     许多网站都提供同一内容的多个版本，这对于用户来说很方便，但是蜘蛛很难分辨哪个是主内容，哪个是第二内容。一旦你让它觉得你在重复一些恶意的事情，你就惨了。
    
     很多人纳闷，机器人和网站安全是如何联系起来的，其实际关系还很大，很多低级黑客都是通过搜索默认的背景登陆，以达到入侵网站的目的。
    
     一般只有少数人偷链，但是一旦搜索引擎偷了链，那家伙你就不能吃100M的宽带，如果你不做图片网站，也不想被搜索引擎偷你的网站图片链。
    
     现在做优化都知道做站点地图，但是很少有人会提交，大多数人只是简单地向页面添加一个链接，事实上，机器人支持这个功能。
    
     这五个机器人足以让你对搜索引擎蜘蛛有很多控制，正如百度所说：我们和搜索引擎应该是朋友，增加一些沟通，消除一些差距。
    
     若要阻止对包含问号()(具体而言，此类URL以您的域名开头，跟随任何字符串，然后跟随一个问号，然后跟随任何字符串)的所有URL的访问，请使用以下命令：
    
     若要指定与web地址的结尾字符的匹配，请使用$.例如，要拦截以.Xls结尾的所有URL，请使用以下内容：User-agent：Googlebot
    
     您可以将此模式与Allow指令进行匹配。例如，如果表示会话ID，则可能希望排除所有包含的URL，以确保Google BOT不会爬行重复页面。但是，结尾地址可能是您想要包括的网页的版本。SE，您可以为您的Roopts.txt文件设置以下设置：
    
     禁止：/*指令阻塞所有包含的URL（具体来说，它拦截以域名开头的所有URL，跟随任何字符串，然后是问号，然后是任何字符串）。
    
     允许：/*$指令将允许任何结束的URL（具体来说，它将允许从域名开始的所有URL，跟随任何字符串，然后跟随，没有任何字符）。
    
     以上大多数是Google的http:-www-google-com.we.Cnanswer=40360，百度的相似点和不同点可以在http:-www-baidu-com/searchrobots.html中看到。
    
     PS：观察机器人的常用方法。网站上的TXT文件是添加机器人。TXT到主页背面。例如，淘宝就是http:-www-taobao-com/robots，如果你想让搜索引擎包含网站上的所有内容，不要创建robots.txt文件。