Qual è robots.txt?
robots.txt è un file di testo che può essere usato per limitare web robot per l'accesso al tuo sito web solo in modi di cui si approva.
Questo file robots.txt blocchi di Google Imagebot da tutto il sito web:
User-agent: Googlebot-Image Disallow: /
Per ulteriori informazioni su robots.txt, leggere uno standard per esclusione robot.
Controllare la sintassi del tuo file robots.txt
Molti web-based sono disponibili strumenti che recuperare il file robots.txt del tuo sito web e per verificare errori di sintassi.
Bad Robot
Alcuni web robot verrà utilizzato fino notevole quantità di larghezza di banda e le risorse di sistema, mentre il ritorno poco o nessun beneficio pratico al sito web proprietario.
Per la vostra comodità, abbiamo un elenco di alcuni di questi cattivi robot in formato file robots.txt.
 |
Bookmark Qual è robots.txt?
