Что такое robots.txt?
robots.txt представляет собой текстовый файл, который может быть использован для ограничения веб-роботы для доступа к веб-сайту только в пути, который вам утверждаю.
Этот файл robots.txt блоки Google в Imagebot от всего веб-сайта:
User-Agent: Googlebot-Image Disallow: /
Для получения более подробной информации о robots.txt, читайте стандарт исключений для роботов.
Проверить синтаксис ваш robots.txt
Несколько веб-инструменты, которые можно будет скачивать файл robots.txt с вашего веб-сайта и проверить его на синтаксические ошибки.
Бад-роботы
Некоторые веб-роботы будут использовать значительные объемы трафика и системных ресурсов, при возвращении мало или нет практической пользы для владельца веб-сайта.
Для Вашего удобства, мы сохраняем список некоторых из этих плохих роботов в файле robots.txt формате.
 |
Закладка Что такое robots.txt?
