robots.txt 오류

robots.txt에 의해 차단됨 오류 해결

 

블로그 개설하고 서치콘솔 설정 - 사이트맵 제출 후 몇일뒤 확인하니 아래와 같은 오류가 있다.

색인 2페이지,  색인이 생성되지 않은 페이지 13페이지 

 

페이지색인생성

 

 

지금까지의 경험상 재크롤링 요청, 사이트맵 제출 등 시간이 지나면 자연 해결되는 경우가 많았다.

하지만 티스토리 블로그 robots.txt 화일의 수정, 업데이트는  어떻게 해야할지 모르겠다.

 

티스토리 블로그  robots.txt 화일도 수정 가능하다고 하는데 열심히 검색을 해보았지만, 정확한 정보는 찾기 어렵다.

 

 

먼저 색인이 생성되지 않음  3개 페이지는 재크롤링요청 

 

일주일뒤... 상황

3개페이지 동시에 재크롤링 요청했지만, 1개페이지만 색인생성... 다시 재 크롤링요청.

사이트맵 제출요청함

색인 생성은 2 -> 5개 

색인 생성되지 않은 사이트도 늘어남

robots.txt 에 의해 차단됨... 차단된 페이지는 방명록, 키워드 등의 티스토리 기본 사이트여서 그냥 두고있다.

두지 않더라도 딱히 해결방법을 모르겠다.

왜 이런 메세지가 뜨는건지......

티스토리의 다른 블로그 robots.txt화일과 다르지 않은데....

 

page index

 

발견됨- 현재 색인이 생성되지 않음... 6개페이지 만 다시 재크롤링요청했다.

티스토리에 등록된 블로그다 보니 내가 할 수 있는게 없는거 같다....