2017-01-14
역시 제대로 반영되네요.
제가 코드를 넣은날이 10일이니 4일만에 크롤링 에러 나는 주소는 싹 날아간듯 싶습니다.
뭐 운좋게 색인리스트중 오늘 방문 리스트(?)가 오류없는 색인일수도 있긴 하지만요.
그동안 100개 넘는 오류 주소를 일일이 삭제 해달라고 요청한 삽질이 아깝네요 ㅋㅋㅋ
네이버는 아직 크롤링 주소 에러가 뜨더군요.
메타명령어가 안먹는건지 아님 그동안 색인해간 주소가 너무 많은건지 좀 더 기다려 봐야겠습니다.
2017-01-10 11:46
티스토리에서 이사오고 주소 체계가 바뀌면서 하루에도 크롤러 오류가 수백개씩 뜨고 있습니다.
첨엔 일일이 다 주소삭제 요청하기로 집어 넣고 있었는데 그것도 하루이틀이지 수백개는 못해먹겠더군요.
이게 언제까지 해야 할지도 모르겠고
그리고 크롤링 오류 주소를 보니 유추되는것중 하나가 티스토리 페이지중에 태그페이지가 있는데
이페이지는 블로그내에 모든 태그들이 보여주는 페이지이고 링크되는 페이지였죠.
문제는 이 페이지, 링크가 사라지니 거기 나왔던 태그링크가 죄다 404페이지가 되버리는 바람에 크롤러가 긁어갔던
색인이 전부 와장창 되버린겁니다. (제 느낌으로 크롤링 오류의 1/3은 이 태그 페이지인듯)
거기다가 희안한 주소도 크롤링 해갔는데 주소 일부가 어뷰즈가 들어가는걸 보니 각 포스트 마다 있던
신고 버튼(?) 링크로 추정되는데 이걸 보니 까마득해지는게 제 포스트 글마다 있던 거라고 치면 1000개가 넘을텐데
그걸 또 일일이 신고 해야 하는 상황이죠.
카테고리 마다 페이지 마다 오류난 링크도 있고요.
그래서 검색해봤습니다.
<meta name="robots" content="noindex,nofollow" />
해당 페이지 마다 위 문구를 넣어주면 해당 링크는 크롤러가 긁어가지 않는데
구글 크롤러는 해당페이지에 저게 있으면 색인 삭제요청도 된다고 하더군요. (인터넷 여기저기 검색해보니)
워드프레스의 경우 테마에 404.php 파일이 있는데 그 파일안에 </head> 안쪽에다가 위 문구를 넣어줬습니다.
바로 반영되는건 아니고 이거 역시 시간이 좀 흘러야 된다고 합니다.
한 일주일 기다려 보고 해결이 되지 않으면 다시 방법을 찾아봐야겠네요.
참고 사이트: https://productforums.google.com/forum/#!msg/webmaster-ko/MEoITvpQvsU/DtEAKRB_v5YJ
답글 남기기