Che cosa è robots.txt?

robots.txt è una lima di testo che può essere usata per limitare i robot di fotoricettore ad accedere al vostro Web site soltanto nei sensi cui approvate.

Questa lima di robots.txt ostruisce Imagebot del Google dall'intero Web site:

Utente-agente: L'Googlebot-Immagine respinge: /

Per le più informazioni su robots.txt, leggere un campione per l'esclusione del robot.

Controllare la sintassi del vostro robots.txt

Vari fotoricettore-hanno basato gli attrezzi sono disponibili che richiameranno la lima di robots.txt dal vostro Web site e la controlleranno per vedere se ci sono errori di sintassi.

Robot difettosi

Alcuni robot di fotoricettore esauriranno gli importi considerevoli delle risorse di sistema e di larghezza di banda, mentre restituiscono poco o nessun beneficio pratico al proprietario di Web site.

Per la vostra convenienza, effettuiamo una lista di alcuni di quei robot difettosi nella disposizione di robots.txt.

Bookmark che cosa è robots.txt?