티스토리에서 워드프레스로 이사를 오고 주소 체계가 바뀌면서 구글 크롤러 오류가 발생하기 시작했습니다. 처음에는 하나하나 주소 삭제 요청으로 처리하고 있었는데 어느 날 보니 하루에 수백 개씩 증가하기 시작했습니다.
크롤링 오류 주소를 확인해 보니 블로그에 사용한 태그도 링크가 되는데 주소체계가 바뀌면서 이거 또한 바뀌니 그동안 크롤러가 가져갔던 것이 전부 404페이지가 돼버렸기 때문입니다. (카테고리 링크도)
그래서 이 문제를 해결할 방법을 검색해봤습니다.
<meta name="robots" content="noindex,nofollow" />
위 문구를 에러가 난 링크 페이지 <head></head> 사이에 넣어주면 크롤러가 긁어가지 않는데 구글의 경우 해당 링크 색인 삭제 요청도 된다고 해서 테마 404.php 파일에 추가해 줬습니다.
실시간 반영은 아니고 일정 기간이 지나면 반영된다고 하니 일주일 정도 기다려 보고 해결이 되지 않으면 다시 방법을 찾아봐야겠습니다.
2017-01-14
다행히 잘 작동했습니다.
제가 코드를 넣은 날이 10일인데 약 4일 만에 크롤링 에러 나는 주소는 싹 날아갔습니다. 그동안 100개 넘는 URL을 일일이 삭제 요청에 넣은 시간이 아깝네요.
네이버의 경우 아직 크롤링 주소 에러가 뜨고 있습니다. 메타 명령어가 반영이 안되는 건지 아님 그동안 색인된 URL이 많아서인지는 좀 더 기다려 봐야겠습니다.
답글 남기기