robots.txt는 무엇인가?
robots.txt는 당신이 찬성하는 방법으로서만 당신의 웹사이트 접근에 웹 로봇을 제한하기 위하여 이용될 수 있는 본문 파일이다.
robots.txt 이 파일은 전체 웹사이트에서 Google의 Imagebot를 막는다:
사용자 대리인: Googlebot 심상은 부인한다: /
robots.txt에 정보 더를 위해, 로봇 배타를 위한 기준을 읽으십시오.
당신의 robots.txt의 통어론을 검사하십시오
당신의 웹사이트에서 robots.txt 파일을 만회하고 구문 오류를 검사할 몇몇 웹기반 공구는 유효하다.
나쁜 로봇
몇몇 웹 로봇은 대역폭과 시스템 자원 상당한 양 높은 쪽으로 거의 비슷하게 실제적인 이득을 웹사이트 소유자에 돌려보내고 있는 동안 사용할 것이다.
당신의 편익을 위해, 우리는 어떤의 robots.txt 체재에 있는 그 나쁜 로봇의 명부를 유지한다.
robots.txt는인 무엇 책갈피?
코멘트