Que é robots.txt?

robots.txt é uma lima de texto que possa ser usada restringir robôs da correia fotorreceptora a alcançar seu Web site somente nas maneiras de que você aprova.

Esta lima de robots.txt obstrui Imagebot de Google do Web site inteiro:

Usuário-agente: A Googlebot-Imagem Disallow: / 

Para mais informação em robots.txt, ler um padrão para a exclusão do robô.

Verificar a sintaxe de seu robots.txt

Diversas ferramentas correia-baseadas estão disponíveis que recuperarão a lima de robots.txt de seu Web site e a verificarão para ver se há erros de sintaxe.

• verificador de Robots.txt
• Validator de Robots.txt
• verificador da sintaxe de Robots.txt

Robôs maus

Alguns robôs da correia fotorreceptora usar-se-ão acima das quantidades consideráveis de recursos da largura de faixa e de sistema, ao retornar quase nenhum benefício prático ao proprietário do Web site.

Para sua conveniência, nós mantemos uma lista de alguns daqueles robôs maus no formato de robots.txt.