웹 사이트의 샘플 robots.txt 파일

웹 사이트의 루트에 저장된 robots.txt 파일은 검색 엔진 스파이더와 같은 웹 로봇에게 크롤링 할 수있는 디렉토리 및 파일을 알려줍니다. robots.txt 파일을 사용하는 것은 쉽지만 기억해야 할 몇 가지 사항이 있습니다.

  1. 블랙 햇 웹 로봇은 robots.txt 파일을 무시합니다. 가장 일반적인 유형은 악성 코드 봇과 추수 할 이메일 주소를 찾는 로봇입니다.
  2. 일부 새로운 프로그래머는 robots.txt 파일을 무시하는 로봇을 작성합니다. 이것은 대개 실수로 수행됩니다.
  1. 누구나 robots.txt 파일을 볼 수 있습니다. 항상 robots.txt라고하며 항상 웹 사이트의 루트에 저장됩니다.
  2. 마지막으로 누군가 robots.txt 파일에서 제외되지 않은 페이지에서 robots.txt 파일에 의해 제외 된 파일이나 디렉토리에 링크하면 검색 엔진에서이를 찾을 수 있습니다.

robots.txt 파일을 사용하여 중요한 것을 숨기지 마십시오. 대신 중요한 정보를 보안 암호 뒤에 넣거나 웹에서 완전히 빼야합니다.

이 샘플 파일을 사용하는 방법

수행하려는 작업과 가장 가까운 샘플의 텍스트를 복사하여 robots.txt 파일에 붙여 넣으십시오. 원하는 구성에 맞게 로봇, 디렉토리 및 파일 이름을 변경하십시오.

두 개의 기본 Robots.txt 파일

사용자 에이전트: *
Disallow : /

이 파일에 액세스하는 모든 로봇 (User-agent : *)은 사이트의 모든 페이지를 무시해야합니다 (Disallow : /).

사용자 에이전트: *
Disallow :

이 파일은 사이트에있는 모든 페이지 (Disallow :)를 볼 수있는 로봇 (User-agent : *)을 말합니다.

robots.txt 파일을 공백으로 남겨 두거나 사이트에 robots.txt 파일을 전혀 남겨 두지 않을 수도 있습니다.

로봇에서 특정 디렉토리 보호

사용자 에이전트: *
Disallow : / cgi-bin /
Disallow : / temp /

이 파일은 액세스하는 모든 로봇 (User-agent : *)이 / cgi-bin / 및 / temp / (Disallow : / cgi-bin / Disallow : / temp /) 디렉토리를 무시해야한다고 말합니다.

로봇에서 특정 페이지 보호

사용자 에이전트: *
Disallow : /jenns-stuff.htm
Disallow : /private.php

이 파일은 액세스하는 모든 로봇 (User-agent : *)이 /jenns-stuff.htm 및 /private.php 파일을 무시해야한다고 말합니다 (Disallow : /jenns-stuff.htm Disallow : /private.php).

특정 로봇이 사이트에 액세스하지 못하게 방지

사용자 에이전트 : Lycos / xx
Disallow : /

이 파일은 Lycos 봇 (User-agent : Lycos / xx)이 사이트의 어느 곳에서든 액세스 할 수 없다 (Disallow : /)라고 말합니다.

오직 하나의 특정 로봇 접근 허용

사용자 에이전트: *
Disallow : /
사용자 에이전트 : Googlebot
Disallow :

이 파일은 먼저 위에서와 같이 모든 로봇을 허용하지 않고 Googlebot (User-agent : Googlebot)이 모든 항목에 액세스 할 수 있도록 허용합니다 (Disallow :).

여러 라인을 결합하여 원하는 예외를 정확하게 얻을 수 있습니다.

User-agent : *와 같이 매우 포괄적 인 User-agent 라인을 사용하는 것이 더 좋지만, 원하는만큼 구체적으로 지정할 수 있습니다. 로봇은 순서대로 파일을 읽습니다. 그래서 첫 번째 라인에서 모든 로봇이 모든 것으로부터 차단되었다고 말하면 파일에서 나중에 모든 로봇이 모든 것에 액세스 할 수 있다고 말하면 로봇은 모든 것에 액세스 할 수 있습니다.

robots.txt 파일을 올바르게 작성했는지 확실하지 않은 경우 Google의 웹 마스터 도구를 사용하여 robots.txt 파일을 확인하거나 새 파일을 작성할 수 있습니다.