반응형 구글서치콘솔1 구글 서치 콘솔 | 티스토리 | robots.txt에 의해 차단됨 (feat. guestbook) 티스토리로 운영하는 블로그가 구글 서치 콘솔 크롤링 과정중 robots.txt에 의해 차단됐을 경우 해결해 가는 과정을 기록한 글이다. robots.txt에 의해 차단됨 구글 서치 콘솔을 이용하고 있다면 가끔 이런 메일이 오곤 한다. 색인 생성에 문제가 해결되지 않았다는 것이다. 메일을 확인해 보면 아래와 같이 세부 문제를 바로 볼 수 있도록 링크를 보내준다. 링크를 타고 들어가면 robots.txt에 의해 차단됨이라는 메시지가 뜬다. 보통 이 메시지는 구글봇이 사이트를 크롤링(페이지 하나하나를 긁어가기)이 성공적으로 완료 되지 않았을 때 나타난다. 자세히는 제출한 사이트맵에는 존재하는 페이지가 구글이 긁어 갈 수 없기 때문에 발생한다. 세부정보 보기를 눌러 정확히 어떤 페이지에서 문제가 발생했는지 확인.. 2023. 1. 27. 20:30 이전 1 다음 반응형
