문제 해결 과정 : 애드센스 광고 크롤러 오류

벌써 두 번째인 것 같습니다. 포스팅에 애드센스 광고가 붙지 않는 게.. "크롤러 : 호스팅 서버에 연결할 수 없습니다."라는 이유로 기존 포스팅에는 광고가 붙어 정상 출력이 되지만, 오류가 발생한 게시글 이후로는 광고가 붙지 않고 있습니다.

---

- 목차 -

• 애드센스 크롤러 오류 발생 이유
• 애드센스 크롤러 오류 해결방법
• 9월 19일 추가
• 9월 20일 추가
• 9월 21일 추가
• 9월 22일 추가
• 9월 25일 추가
• 9월 28일 추가

---

애드센스 크롤러 오류 발생 이유

기존 블로그 게시물에는 광고가 노출되고 있기 때문에 사이트 전체에 대한 광고 제한은 아닙니다. 심지어 오류가 발생한 페이지에서도 사이드바에 노출되는 광고는 정상적으로 노출되고 있습니다. 서치콘솔의 색인도 생성되어 검색도 되고 있는 중이고요. 애드센스 광고 크롤러와 서치콘솔 색인 크롤러는 별도로 움직인다고 했으니 아마도 광고 크롤러가 사이트를 체크하려는 순간에 일시적으로 사이트의 트래픽이 높아지면서 광고 크롤러가 페이지를 제대로 크롤링하지 못한 이유인 듯합니다. 문제는 오류가 발생한 이후의 포스팅에도 역시 광고가 붙지 않고 있습니다. 서치콘솔 색인은 정상적으로 생성되어 있고요. 오류 이후 광고 크롤러가 사이트를 방문하지 않고 있는 듯합니다.

반응형

이리저리 검색해 보니 호스팅 서버에 연결하지 못한다는 오류 메시지는 사용자가 할 수 있는 게 없다고 합니다. 대부분 기다리다 보면 일주일 내외로 풀린다고 하고, 어떤 사람은 서치콘솔에 URL을 등록하라는 사람도 있습니다. 그러나 제 포스팅은 서치콘솔에 정상적으로 색인이 되어있고, 심지어 그 이후로 매일 URL을 재등록하고 있으나 크롤러 오류가 풀리지 않고 있습니다.

서두에서 얘기했듯, 제 블로그의 크롤러 오류는 벌써 두 번째입니다. 전체 포스팅 수가 50개 정도밖에 안 되는 블로그에 벌써 두 번째 크롤러 오류라니.. 이런 오류가 상당히 잦다고 보아도 될 듯합니다. 만약 사유가 정책 위반 문제라면 하루라도 빨리 해당 포스팅을 삭제하고 조치를 취해야 하지만 보시다시피 사용자의 정책 위반 문제가 아니기 때문에 해결할 수 있는 방법은 없고, 그저 광고 크롤러가 하루라도 빨리 다시 방문해 주길 바라는 방법밖에 없다고 합니다. 아래에 거론될 해결 방법도 크롤러가 조금이라도 빨리 움직이도록 "요청" 하는 거지 실질적인 해결 방법은 아닙니다.

애드센스 크롤러 오류 해결 방법

01. 크롤러 로그인 정보 등록

첫 번째 크롤러 오류는 3일 만에 풀렸습니다. 오류를 발견하고 서치콘솔 URL 재등록도 해보고 다 해봤지만 모두 실패하고 마지막으로 애드센스에 티스토리 아이디 정보를 등록하고 약 하루정도 뒤에 풀렸습니다.

애드센스 계정 - 액세스 및 승인 - 크롤러 액세스메뉴에 접속하시면 크롤러가 사이트에 접속할 수 있도록 로그인 정보를 등록하는 곳이 있습니다. 로그인 추가를 누르신 뒤 로그인 정보를 모두 입력하시고 로그인 추가를 눌러주시면 됩니다.

이렇게 해도 광고 크롤러가 언제 내 사이트를 방문할지는 알 수가 없으니 할 수 있는 건 기다리는 것뿐이고요. 다행히도 저는 하루 만에 해결이 되었었습니다.

 

02. 오류가 발생한 게시물 삭제

이번에는 자연스럽게 해결되길 바라며 오류는 그냥 두고 계속 새로운 포스팅을 발행했습니다. 그냥 두니 2~3일 만에 해결되었다는 분들도 제법 많았거든요. 그런데 저는 일주일째 감감무소식입니다. 길어도 일주일 전후로 해결된다 했으니 며칠 더 기다려봐도 되겠지만, 마음이 급해서 그냥 오류가 발생한 포스팅을 삭제하고 서치콘솔에서 해당 포스팅 주소의 검색을 중지시켰습니다. 네이버 서치어드바이저에서도 해당 URL의 검색을 중지시켰고요.

오늘 처리하였으니 이후 어떻게 반영되고 언제쯤 광고 제한이 풀릴지 두고 봐야겠습니다.

제 블로그의 광고 제한은 아직 진행 중입니다. 언제 풀리고 이번에 한 조치가 어떻게 적용이 될지 지켜봐야겠지만 하루라도 빨리 정리가 되었으면 좋겠다는 마음뿐이네요.

728x90

9월 19일 추가

삭제처리한 포스팅 주소의 크롤러 오류는 아직 문제발견 상태로 남아있지만, 다음글을 순차적으로 크롤링하기 시작했습니다. 문제는 다음글도 또 크롤러 오류가 났다는 거지만... 역시 호스팅 서비스에 연결할 수 없다는 메시지로.. 또 후속처리를 하고 기다려야 합니다. 이번에는 삭제처리 하지 않고 처음 했던 대로 로그인 계정을 추가하고 다음글에서 또 오류가 발생하는지 확인하려고 합니다.

새로 오류메시지가 발생한 포스팅은 애드센스에 로그인정보를 막 입력했을 땐 크롤링되지 않음 상태였지만 조금 시간이 지난 뒤 크롤링 상태로 바뀌었습니다. 광고가 모두 붙은 것도 확인했고요. 그런데 이 광고는 붙었다 안 붙었다 하네요. 내일 다음글에서도 계속 이어서 크롤링 오류가 발생하는지 확인해보아야 하지만, 앞에 삭제한 포스팅도 그냥 로그인정보를 입력해 둘걸 하는 생각이 듭니다.

9월 20일 추가

19일 새로 발견된 크롤링 오류는 처리가 완료되어 애드센스 정책센터에서도 해당 내용이 빠지게 되었습니다. 그러나 여전히 광고는 붙지 않고 있고 크롤링 오류가 해결된 페이지도 광고가 붙었다 안 붙었다 하는 등, 아직 문제점들이 보이고 있습니다. 특히나 이미 삭제해서 처리할 방법이 없는 기존의 크롤러 오류건이 상당히 눈에 거슬립니다. 우선 크롤링 자체를 하지 않고 있어 글이 삭제된 건지 파악조차 안 되고 있는 것 같아 이미 삭제한 포스팅 주소로 로그인정보를 입력해 두었습니다. 이게 새로운 오류가 될지, 삭제된 포스트라고 인지하고 문제가 해결이 될지 미지수이지만, 섣불리 포스트를 삭제하는 것보단 크롤링 액세스 로그인 정보를 입력해 주는 게 처리가 더 빠르다는 것을 다시 한번 느끼고 있습니다.

9월 21일 추가

삭제된 페이지까지 크롤링이 모두 되어서 해결됐나 했더니 날짜만 바뀐 채로 같은 페이지에서 크롤링 오류가 또 발생했습니다. 이게 대체 무슨 일인지.. 기존 크롤링 액세스 로그인정보를 삭제하고 다시 등록해 두었습니다.

오전에 같은 페이지에서 다시 나타난 크롤링 문제는 액세스 로그인 정보를 새로 입력한 뒤 오후에 다시 체크하였습니다. 크롤링 문제가 해결된 것은 아니지만 페이지를 점차 크롤링하고 있는지 최근 포스팅까지 넘어왔습니다. 지금은 또 다른 날짜에 다른 포스팅에서 발생한 크롤링 문제가 검색이 되어서 액세스 로그인정보를 입력해 두었습니다. 대체 어디까지 막혀있는 건지.. 계속해서 발생하는 크롤링 오류 때문에 지금은 신규 포스팅은 잠시 멈추고 크롤링 문제를 해결하는데 집중하고 있습니다.

9월 22일 추가

21일 처리한 문제 부분은 모두 크롤링된 것을 확인했는데, 날짜만 바뀐 채로 두 번째 크롤링 오류가 난 곳에서 또 크롤링 오류가 발생했습니다. 기존에 등록한 크롤링 액세스 아이디를 삭제하고 새로 등록했습니다. 이제 발견되는 크롤링 오류는 그냥 두는 것이 아니라 바로바로 처리해야 한다는 생각이 드네요.

같은 포스트가 9월 13일 첫 크롤링 오류가 난 것을 9월 19일 처리하니, 9월 14일 크롤링 오류가 또 잡히고, 이것을 20일 처리하니 9월 15일 크롤링 오류가 또 잡혔습니다. 서치콘솔 색인요청은 포스팅 등록 후 10분 내로 바로바로 했는데 왜 이렇게 꽉 막힌 건지..

저녁때 확인하니 재발생한 15일 자 크롤링 오류는 일단 모두 없어진 상태입니다. 이걸로 끝일지, 내일 오전에 또 크롤링이 잡힐지.. 오늘도 신규포스팅은 등록하지 않았습니다.

9월 25일 추가

지난 2일간 진행사항을 추가하지 않았는데 이유는 21일 오후에 발생한 크롤링 오류가 계속해서 해결되지 않고 남아있기 때문이었습니다. 2일간 등록했던 크롤링 액세스 아이디를 삭제하고 다시 등록하기를 반복하며 크롤링 오류가 해결되기를 기다렸는데, 오늘 저녁 날짜만 바뀐 채로 크롤링 오류가 아직 남아있습니다. 그 때문인지 처음 크롤링 오류가 발생했던 포스팅 이후 게시물들이 아직 광고가 붙지 않고 있습니다. 답답하고 짜증 나는데 빠른 해결방법이 없어 눈물 나려고 하네요. 우선 크롤링 오류 날짜가 바뀌었기 때문에 기존에 등록했던 크롤링 액세스 아이디를 삭제하고 다시 등록해 두었습니다.

9월 28일 추가

드디어 길었던 크롤링 오류 문제가 해결되었습니다. 크롤링 오류에 대응하기 시작할 때부터 매일 구글 애드센스를 확인하며 업데이트되는 크롤링 메시지를 확인하고, 오류가 발생하는 포스팅은 오류 신고 날짜가 업데이트될 때마다 기존에 등록했던 크롤링 액세스 아이디는 삭제하고 새로 등록하는 식으로 대응했습니다. 서치콘솔에도 매일 색인요청을 했고요. 이렇게 하고 나면 짧게는 반나절, 길게는 2일 정도면 크롤링 오류가 갱신이 됐고, 오늘 오류가 완전히 해결이 될 때까지 일주일이 조금 넘게 걸렸습니다. 자연스럽게 해결되겠지라고 방치했던 일주일 정도를 더하면 2주 조금 넘게 걸린 셈입니다.

기다리면 해결된다라고 얘기하시는 분들 보면 자연스럽게 해결되기까지 짧게는 1주 ~ 길게는 4주 정도 소요가 된다 하고, 광고 제재가 아닌 일부 광고 제한의 경우 수익에 큰 차이 없다고 하시더군요. 사실 블로그를 막 키우기 시작하는 단계에서 광고노출 몇 번 안 된다고 수익차이 얼마나 날까요. 그러나 저는 지난 2주간 소화불량과 약간의 불면증을 겪을 정도로 스트레스가 심했습니다. 열심히 애지중지 키우고 있는 내 블로그에 오류가 있다(정확하게는 애드센스 크롤러 오류가 발생했다)라는 게 참을 수 없이 짜증이 나더군요. 앞으로도 이런 일은 부단히 발생하겠지만, 지금으로선 "2주 정도 됐으니 그냥 뒀어도 자연스럽게 해결됐을 거다"라는 생각보단 "처음 일주일을 그냥 내버려 두어서 2주나 걸렸다"라는 생각이 더 크기 때문에 크롤러 오류에 대해 어느 정도 경험치가 모이기 전까진 즉각적인 대응을 할 생각입니다.