O que é robots.txt?
robots.txt é um arquivo de texto que pode ser utilizado para restringir o seu acesso aos robôs web site somente nas quais as formas de você aprovar.
Este arquivo robots.txt do Google bloqueia Imagebot de todo o web site:
User-agent: Googlebot-Image Disallow: /
Para obter mais informações sobre robots.txt, leia Normas de exclusão de robôs.
Verifique a sintaxe do seu robots.txt
Várias ferramentas baseadas na web estão disponíveis, que irá recuperar o arquivo robots.txt de seu web site e verificar se há erros de sintaxe.
Bad Robot
Alguns robôs da Web irá utilizar-se uma quantidade considerável de largura de banda e recursos do sistema, retornando ao mesmo tempo pouco ou nenhum benefício prático para o web site proprietário.
Para sua comodidade, mantemos uma lista de alguns desses maus robôs em formato robots.txt.
 |
Bookmark O que é robots.txt?
