크롤러: 호스팅 서버에 연결할 수 없음 - 애드센스 오류 해결

티스토리 애드센스 크롤러: 호스팅 서버에 연결할 수 없음 해결

며칠 전 티스토리 애드센스 홈에 신경에 거슬리는 오류 알림이 떴습니다. 혹시나 저품질 등 이전에 생겼던 문제가 또 생기지 않을까 마음 졸이며 문제를 해결하기 위해 취했던 조치를 공유해보겠습니다.

 

1. 티스토리 크롤러 문제 발생 확인

구글 애드센스 홈에 뜬 알림 메시지를 발견한 게 발단이었습니다. "광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생할 수 있습니다."라는 문구였습니다. 애정을 가지고 키우고 있는 티스토리인데 수익에 손실이 발생할 수 있다니 신경을 안쓸 수가 없었습니다.

 

광고 게재가 제한되었다는 상태의 알람이 떠있었습니다. 신고된 날짜는 2022년 4월 20일이었습니다. 문제 발생 위치를 클릭하여 자세한 문제를 확인했습니다.

 

크롤러: 호스팅 서버에 연결할 수 없음, 크롤러: 호스팅 서버 과부화 두 가지의 문제가 발견되었습니다. 

1) 크롤러: 호스팅 서버에 연결할 수 없음

서버가 다운되거나 응답을 보내기 전에 서버가 연결을 닫는 등 여러 가지 이유로 서버에 연결할 수 없습니다.

2) 크롤러: 호스팅 서버 과부하

서버에서 콘텐츠를 가져올 수 없습니다. 서버에 과부하가 발생했거나 너무 많은 URL로 인해 광고 크롤러에 과부하가 발생했기 때문입니다.

 

2. 문제 원인 분석

서버에 연결이 안 되고 과부하가 될만한 문제가 무엇이었을까 고민을 해봤지만, 정확한 원인은 알 수 없었습니다. 다만, 한 가지 짚이는 점이 있었다면, 신고 발생일자인 4월 20일로부터 이틀 전인 4월 18일에 특정 글 하나가 카카오뷰 페이지에 노출이 되면서 평소보다 훨씬 많은 방문자가 통계에 잡혔습니다. 평소보다 방문자가 급증하면서 서버에 과부하를 주지 않았을까 하는 생각이 들었습니다. 크롤러 오류 문제가 발생한 페이지는 방문자가 급격하게 늘었던 글이 아닌 신고일자 기준인 4월 20일에 작성된 글이었습니다. 서버가 과부하 된 상황에서 글을 올렸던 게 문제가 되었을 수도 있겠다 싶었습니다.

문제가 발생한 페이지에 광고가 제한된 상태인지 확인을 해보려고 PC버전과 모바일 버전으로 접속을 해보았지만, 광고는 정상적으로 송출되고 있었습니다. 광고도 정상적으로 송출되고 있고, 문제가 되는 페이지도 어느 정도 유입이 있어 문제가 되는 점은 없지만, 오류 알림 때문에 계속 신경이 쓰일 수밖에 없습니다.

반응형

PC 화면 광고 송출

 

모바일 화면 광고 송출

 

3. 해결 방법 : 구글 써치콘솔 URL 색인 생성하기

여러 가지 방법을 찾아 헤맸지만, 결론적으로는 시간이 지날 때까지 기다려보는 것이었습니다. 하지만, 수익에 손실이 날 수 있다니 가만히 기다리기만 하지는 못할 것 같아서 할 수 있는 조치는 취해보았습니다. 티스토리 운영 3개월 초기이기 때문에, 글을 쓰고 매번 구글 써치콘솔에 작성한 글의 URL 색인 생성 요청을 하는 편입니다.

구글 써치콘솔 > URL 검사 > 문제 발생 페이지 주소 입력 > 색인 생성 요청

사실, 문제가 되었던 글도 작성 후 바로 색인 생성 요청을 하였는데, 며칠이 지난 후에도 URL이 구글에 등록되어있지 않았습니다. 문제를 발견한 시점부터 며칠간 계속 URL 검사를 했는데, 문제가 발생한 4월 20일부터 4월 24일까지의 URL은 계속 등록이 되지 않은 것으로 나옵니다. 그러나, 4월 25일 이후에 쓴 글들은 색인 생성요청을 하였더니 색인 생성이 된 것으로 나타나니 해당 기간에 서버에 문제가 생겼다는 것을 짐작할 수 있었습니다.

 

4. 해결 완료

문제 발생 날짜로부터 6일이 지난 시점에 애드센스 알림 페이지를 확인해보니 크롤러 오류가 "해결됨"상태로 떠있습니다. 오류 알람이 해결되었다고 떴고, 색인 생성이 되지 않던 페이지 몇 개도 정상적으로 구글 유입이 잡히는 상태입니다. 그러나, 구글 써치콘솔에 4월 20일~ 4월 24일에 작성된 글을 URL 검사 시 아직도 등록이 되어있지 않아 색인 생성 요청을 해주고 있습니다.

---

크롤러 오류를 해결할 수 있는 명확한 방법은 없지만, 구글써치콘솔 색인 생성 요청이 불안감 해소에 좋은 방법입니다.