Robots.txt

Robots.txt 파일이란?

 

Robots.txt 파일은 웹사이트의 루트 디렉토리에 위치하며, 검색 엔진 로봇들에게 웹 페이지의 크롤링 동작을

제어하는 역할을 한다.

 

이 파일을 통해 웹사이트 관리자는 특정 디렉토리나 파일을 크롤링에서 제외하거나, 특정 크롤러의 접근을 제한할 수 있다.

 

Robots.txt 파일은 특정 문법 규칙에 따라 작성되며, 검색 엔진 로봇들이 이를 읽고 그에 따라 웹사이트를 크롤링하도록

지시합니다. 이를 통해 웹사이트의 보안과 검색 엔진 최적화(SEO) 전략을 조정할 수 있다.

 

 

Robots.txt 작동원리 

 

웹사이트의 루트 디렉토리에 위치한 Robots.txt  파일은 검색 엔진 로봇들에게 특정 지침을 제공합니다. 일반적으로 이 파

일은 텍스트 형식으로 작성되며, 특정 문법 규칙에 따라 구성된다.

 

로봇접근제어 : Robots.txt 파일에 명시된 디렉토리나 파일들은 검색 엔진 로봇들에 의해 크롤링이 제어된다. 디렉토리 또는 파일을 크롤링에서 제외하거나 포함할 수 있다.

 

문법규칙 :  Robots.txt 파일은 특정 문법 규칙을 따라 작성되어야 하고. 각각의 지시는 User-agent와 Disallow 명령어로 시작하며, 특정 크롤러(User-agent)에게 어떤 디렉토리나 파일을 제한할지 명시한다.

 

읽기 및 준수: 검색 엔진 로봇은 웹사이트를 크롤링할 때 Robots.txt 파일을 읽고 그 내용을 준수한다. 예로, Disallow 명령어에 의해 특정 디렉토리가 제한된 경우 해당 디렉토리의 내용은 크롤링되지 않습니다.

 

SEO 전략에 활용: Robots.txt 파일을 적절히 활용하면 웹사이트의 SEO 전략을 조정할 수 있다. 예를 들어, 중요한 콘텐츠에 집중하거나 중복 콘텐츠를 방지할 수 있습니다.

 

Robots.txt 파일은 웹사이트의 크롤링 행동을 조정하여 검색 엔진에서 원하는 방식으로 웹사이트를 색인화하도록 돕는다.

Robots.txt 생성방법

Robots.txt 파일을 만드는 방법은 간단하다.

 

텍스트 편집기 열기: 웹사이트의 루트 디렉토리에 접근할 수 있는 텍스트 편집기(예: 메모장, 텍스트 편집기 등)를 엽니다.

 

새 파일 생성: 텍스트 편집기에서 새로운 파일을 생성합니다.

 

기본 문법 작성 :

 

    User-agent: [로봇 이름]
    Disallow: [제한할 디렉토리 경로]

 

   [로봇 이름]은 크롤링을 제어할 특정 검색 엔진 로봇의 이름이며,

   [제한할 디렉토리 경로]는 해당 로봇에게 접근을 제한할 디렉토리의 경로

 

파일 저장: 작성이 완료되면 파일을 'robots.txt'로 저장 한 후, 이때 파일 이름은 반드시 소문자로 작성되어야 하며, 따옴표나 다른 확장자 없이 저장한다.

 

서버에 업로드: 편집이 완료된 Robots.txt 파일을 웹사이트의 루트 디렉토리에 업로드합니다. 이제 검색 엔진 로봇들이 이 파일을 읽어 웹사이트를 크롤링할 때 설정한 지침에 따라 동작하게 된다.

 

순서대로 Robots.txt 파일을 만들고 웹사이트의 크롤링 동작을 효과적으로 관리할 수 있다.