robots.txt를 무엇입니까?
robots.txt를하는 당신을 승인하는 웹 사이트에 액세스하는 웹 로봇을 제한하는 방법으로만 사용할 수있는 텍스트 파일입니다.
이것은 전체 웹 사이트에서 robots.txt 파일을 차단하는 구글의 Imagebot :
이 User - Agent : Googlebot이 - 이미지 은 Disallow : /
robots.txt에 대한 자세한 정보를 원하시면, 로봇 제외 기준에 대해 읽어보십시오.
귀하의 robots.txt의 구문을 확인
여러 웹 - 기반 도구는 귀하의 웹 사이트에서 robots.txt 파일을 검색할 예정이다 및 구문 오류를 확인하실 수있습니다.
나쁜 로봇
반면 웹 사이트 소유자에게 실질적인 혜택을 거의 또는 전혀 재방 일부 웹 로봇, 대역폭 및 시스템 리소스의 상당한 액수를 사용한다.
귀하의 편의를 위해, 우리는 robots.txt를 형식에 나쁜 로봇은 그 중 일부의 목록을 유지합니다.
 |
즐겨찾기에 robots.txt 무엇입니까?
