robots.txtは何であるか。

robots.txtはあなたが承認する方法でだけあなたのウェブサイトのアクセスに網のロボットを制限するのに使用することができるテキスト・ファイルである。

robots.txtこのファイルは全体のウェブサイトからのGoogleのImagebotを妨げる:

ユーザー代理店: Googlebotイメージは拒否する: / 

robots.txtのより多くの情報のために、ロボット排除のための標準を読みなさい。

あなたのrobots.txtの構文法を点検しなさい

あなたのウェブサイトからrobots.txtファイルを取り出し、文法エラーがあるかどうか点検する複数のWEBベース用具は利用できる。

• Robots.txtのレジ係
• Robots.txt validator
• Robots.txtの構文検査プログラム

悪いロボット

ある網のロボットはかなりの量の帯域幅およびシステム源の上でほとんど実用的な利点をウェブサイトの所有者に戻している間使用する。

あなたの便利のために、私達はrobots.txtのフォーマットのそれらの悪いロボットのいくつかのリストを維持する。