什么是robots.txt的？
robots.txt是一个文本文件可以用来限制网络机器人访问您的网站，只有在方式，其中您批准。
此robots.txt文件拦截Google的imagebot从整个网站：
使用者代理： Googlebot的形象不允许： /
更多信息关于robots.txt ，宣读了一份漫游器排除标准 。
检查的语法您的robots.txt
几个基于Web的工具可将检索robots.txt文件从您的网站，并检查它为语法错误。
坏机器人
一些网络机器人将使用了相当数量的带宽和系统资源，而返回的很少或根本没有实际利益到Web网站的拥有者。
为方便起见，我们保持列出了一些这些坏机器人 robots.txt中的格式。
书签的robots.txt是什么？
