구글 서치콘솔 [robots.txt에 의해 차단됨] 오류 해결

 

구글 서치콘솔에서 온 메일, 페이지 색인 생성 문제가 감지됨, robots.txt에 의해 차단됨 오류 해결은 의외로 간단합니다.

 

"robots.txt에 의해 차단됨"이란, 검색 로봇이 웹사이트에 액세스 하지 못하도록 robots.txt 파일에 해당 페이지 또는 디렉토리에 대한 접근을 거부한 상태를 말합니다.
robots.txt 파일을 사용하여 검색 엔진 크롤러에게 어떤 페이지를 수집하고 어떤 페이지를 수집하지 않을 것인지 알리는 것이 일반적인데, 이 파일이나 다른 보안 장치는 페이지를 차단하는 데 사용될 수 있습니다.

 

 

 

 

 

 

반응형

1. robots.txt 파일 확인하기

 

블로그 관리홈으로 들어가서 꾸미기의 스킨편집을 들어갑니다. 오른쪽 상단의 html 편집을 열어줍니다.

 

 

html 옆에 있는 파일업로드를 눌러 줍니다, 그럼 여러 개의 파일이 나옵니다. 여기서 images/robots.txt 파일이 있는지 확인 합니다. 이 파일이 없을 경우 [robots.txt에 의해 차단됨]이라는 메일이 오는데요. 

두 가지 해결 방법이 있습니다. robots.txt 파일이 있는 경우와 없는 경우를 알아보겠습니다.

 

2. robots.txt 파일이 없는 경우

파일이 없는 경우에는 파일업로드 화면에서 화면 하단의 추가를 눌러 파일을 업로드해 줍니다.

robots.txt

0.00MB

 

(※ 먼저 컴퓨터로 다운로드한 후 업로드를 진행해 주세요)

 

업로드하면  images/robots.txt 파일이 생성되는 것을 볼 수 있습니다. 그 후에 이메일로 들어가서 페이지 색인 생성 문제 해결하기를 눌러 주면 됩니다.

 

 

 

 

 

 

3. robots.txt 파일이 있는 경우

파일이 있는 경우에는 메일 속 파란 버튼인 '페이지 색인 생성 문제 해결하기'를 누르고 며칠만 기다리면 해결됐다는 메일이 옵니다.

 

파란 버튼을 누르면 유효성 검사상태가 시작됨이라고 표시됩니다.

 

 

그리고 하루정도 기다리니 유효성검사 통과와 함께 해결됐다는 메세지가 옵니다. 

 

robots.txt 파일은 웹사이트의 루트 디렉토리에 위치한 파일입니다. 검색 엔진 크롤러가 웹사이트를 크롤링할 때, 어떤 페이지를 수집할 수 있고 어떤 페이지를 수집할 수 없는지를 알려주는 지침서 역할을 하고 웹사이트 속도 향상과 검색 엔진 크롤러의 효율 증대에 도움이 됩니다.