什麼是robots.txt的？
robots.txt是一個文本文件可以用來限制網絡機器人訪問您的網站的方法只有在你的批准。
這robots.txt文件攔截谷歌的Imagebot從整個網站：
用戶代理： Googlebot會圖像 不允許： /
欲了解更多有關robots.txt的，閱讀漫遊器排除標準 。
檢查語法您的robots.txt
一些基於Web的工具可將擷取的robots.txt文件從您的網站，並檢查它的語法錯誤。
壞機器人
有些網絡機器人將佔用大量的帶寬和系統資源，而返回的很少或根本沒有實際的好處網站所有者。
為方便起見，我們保持一份一些壞機器人的robots.txt格式。
 |
06月robots.txt的是什麼？
