Was ist robots.txt?
robots.txt ist eine Textdatei, die verwendet werden können, um Web-Roboter für den Zugang zu Ihrer Web-Site nur in der Hinsicht, die Sie genehmigen.
Diese robots.txt-Datei blockiert Google-ImageBot aus dem gesamten Web-Site:
User-agent: Googlebot-Image Disallow: /
Für weitere Informationen über die robots.txt, lesen Sie ein Standard für Robot Ausschluss.
Überprüfen Sie die Syntax Ihrer robots.txt
Mehrere Web-basierte Werkzeuge zur Verfügung stehen, das Abrufen der robots.txt-Datei von Ihrer Web-Site und kontrolliere ihn auf Syntax-Fehler.
Bad Robots
Einige Web-Roboter werden beträchtliche Mengen an Bandbreite und System-Ressourcen, während die Rückkehr wenig oder keine praktische Nutzen für die Web-Site Eigentümer.
Für Ihre Bequemlichkeit, pflegen wir eine Liste mit einigen dieser schlechten Robotern in der robots.txt-Format.
 |
Bookmark Was ist robots.txt?
