¿Qué es el robots.txt?
robots.txt es un archivo de texto que puede ser utilizado para restringir robots web para acceder a su sitio web sólo en la manera de que usted apruebe.
Este archivo robots.txt bloques de Google Imagebot de todo el sitio web:
User-agent: Googlebot-Imagen Disallow: /
Para obtener más información sobre robots.txt, leer un estándar para la exclusión de robots.
Compruebe la sintaxis de robots.txt
Varios basado en la web están disponibles las herramientas que recuperar el archivo robots.txt de su sitio web y comprobar que los errores de sintaxis.
Robots mala
Algunos robots web se utilizan grandes cantidades de ancho de banda y recursos del sistema, mientras que regresan poco o ningún beneficio práctico para el sitio web propietario.
Para su comodidad, disponemos de una lista de algunos de esos malos robots robots.txt en formato.
 |
Marcador ¿Qué es el robots.txt?
