Google은 인덱싱 대기열의 URL을 잊어 버렸습니다.

인덱싱 버그 는 전례가 없습니다. Google은 꽤 오랫동안 인덱싱에 문제가 있었습니다. 웹 사이트의 크기에 관계없이 웹 사이트 소유자의 잘못이 아닌 모든 사람에게 발생할 수 있습니다 . 작년에 모바일 인덱싱 및 정규화와 관련된 인덱싱 버그의 경우가 있었습니다.  

몇 달 전, SEO 인덱싱에 대한 궁극적인 가이드가 인덱싱 되지 않은 것으로 나타났을 때 개인적으로 인덱싱 버그를 경험했습니다 .

철저한 조사 후 Google이 명백한 이유 없이 잘못된 버전의 URL을 색인에 추가했음을 알게 되었습니다. 내 기사 인덱싱 SEO에 대한 궁극적인 가이드가 인덱싱되지 않음 에서 이 특정 버그에 대해 자세히 알아볼 수 있습니다 .

올해 초, Google이 인덱싱 대기열의 URL을 추적하지 못할 수 있음을 나타내는 또 다른 인덱싱 버그를 발견했습니다.  

단계별로 분해해 보겠습니다.

Google의 색인 생성 대기열에서 잊어버린 URL

10월 6일에 Rendering SEO: How Google Digests Your Content 라는 기사를 게시했습니다 . 이 기사는 Onely의 Bartosz Goralewicz, Google의 Martin Splitt, Kalicube의 Jason Barnard 간의 대화를 녹취한 것입니다.

불행히도 발행일로부터 3주 동안 기사는 Google에서 트래픽을 가져오지 않았습니다.

Google에서 색인을 생성하지 않은 또 다른 흥미로운 기사가 ​​있습니까? Google에 다른 색인 생성 버그가 있습니까?

Google의 색인 생성 프로세스의 모든 부분을 이해하려고 노력하기 때문에 약간의 조사를 수행하기로 결정했습니다.

Google Search Console에서 이 URL에 대해 말한 내용을 확인했습니다.

GSC는 이 URL이 "발견됨 - 현재 인덱싱되지 않음"이라고 밝혔습니다.  

Google 문서를 살펴보면 상태에 대한 다음 설명을 찾을 수 있습니다.

발견됨 – 현재 색인이 생성되지 않음: Google에서 페이지를 찾았지만 아직 크롤링되지 않았습니다.

출처: 구글

URL의 상태가 거의 불가능해 보였습니다. 상대적으로 작은 웹사이트에 게시된 후 3주 이내에 Google이 이 페이지를 크롤링하지 않았다는 사실이 믿기지 않았습니다.

그래서 서버 로그를 확인했습니다.

서버 로그를 사용하면 웹사이트로 들어오는 트래픽을 검사할 수 있습니다. 여기에는 시간과 날짜, 사용자 에이전트 문자열, IP 주소 등을 포함하여 각 요청에 대한 정보가 포함되어 있습니다. 이 정보 덕분에 Googlebot이 이 페이지에 있었는지(그리고 언제) 있는지 알 수 있었습니다.

놀랍게도 우리가 기사를 게시한 날 Googlebot이 페이지를 방문한 것을 발견했습니다!

이 시점에서 나는 두 가지 중요한 정보를 얻었습니다.

1. Googlebot이 아직 페이지를 방문하지 않았다는 Google Search Console의 데이터는 사실이 아닙니다. 서버 로그는 기사가 게시된 날 Googlebot이 URL을 방문 했음을 증명했습니다 .
2. Google Search Console 의 버그 보고뿐만이 아니었습니다 . 페이지에 유기적 트래픽이 발생하지 않았으므로 보고서의 실수보다 더 심각한 문제가 분명히 있었습니다.

더 많은 웹 사이트가 Google의 인덱싱 버그로 고통 받고 있습니다.

이 버그와 그 규모에 대해 더 알고 싶었기 때문에 실행 가능한 결론을 도출하기 위해 더 많은 웹사이트 샘플을 조사했습니다.

4개의 다른 웹사이트에서 서버 로그를 수집 하고 데이터를 파헤쳤습니다.

내가 조사한 웹 사이트의 100%가 바로 이 문제를 겪고 있는 것으로 나타났습니다 . Googlebot에서 여러 URL 을 방문했지만 Google Search Console에서 다음 중 하나로 잘못 분류되었습니다.

• 발견됨 – 현재 인덱싱되지 않음, 또는
• 알려지지 않은.

알 수 없음 상태의 경우 Google 에서 해당 페이지를 방문한 적이 없으며 URL을 발견한 기억조차 없는 것으로 나타납니다.

Google이 처음 방문한 지 6개월이 지난 후에도 테스트된 페이지 중 하나에 문제가 있음 을 발견 했습니다. 서버 로그에 따르면 마지막 방문은 3월 7일이었지만 10월 27일에는 여전히 알 수 없음 상태였습니다.

Google이 인덱싱 파이프라인의 어느 시점에서 URL을 잊어버리는 경우가 있는 것 같습니다. 검색 엔진이 일부 URL을 추적하지 못하는 것인지, 아니면 의도적으로 생략하는 것인지는 확실하지 않습니다.

어느 쪽이든 결과는 심각합니다. 잊혀진 페이지에는 유기적 트래픽이 발생하지 않습니다.

버그에 대한 가능한 해결책

Dan Shure는 잊혀진 URL 버그와 관련된 흥미로운 사례를 공유했습니다.

"발견되었지만 현재 색인이 생성되지 않음"이 URL을 일종의 '블랙리스트'에 넣을 수 있습니까?

나는 클라이언트의 몇 가지 블로그 게시물과 함께 일어난 이상하고 흥미로운 것을 공유할 것이라고 생각했습니다.

(1/5) (나는 스레드를 만드는 것을 싫어하지만 이것은 약간의 세부 사항이 필요합니다)

— 댄 슈어(@dan_shure) 2021년 11월 8일

URL 변경으로 문제가 해결된 것 같습니다 .

Dan Shure만이 이 솔루션을 테스트한 것은 아닙니다. Frank Olivo는 URL을 변경하여 거의 ⅓의 기사에 대한 색인을 생성했습니다!

이것은 우리가 시도한 38개 기사 중 약 12개에서 작동했습니다. 우리가 재출판한 당일에 모두 색인이 생성되었습니다. 나머지 기사는 거의 한 달이 지난 후에도 여전히 "발견"됩니다.

— 프랭크 올리보(@FrancoOlivo) 2021년 12월 7일

이러한 URL은 품질이 낮은 URL 패턴에 속하여 Google에서 크롤링하지 않아 Google Search Console에서 '발견됨 - 현재 인덱싱되지 않음'으로 분류되었을 수 있습니다.

페이지를 새 페이지로 취급하고 URL을 변경하여 다시 크롤링하도록 Google을 설득할 수 있습니다. 이 솔루션은 페이지의 색인을 생성하는 데 도움이 될 수 있지만 이는 해결 방법일 뿐입니다. 문제가 다시 발생하는 것을 방지하지 않습니다. Google은 문제를 해결해야 하며 버그는 영구적으로 수정되어야 합니다.

마무리

기사에서 설명했듯이 인덱싱에는 심각한 문제가 있습니다. 이전 인덱싱 버그(예: 정규화에 연결됨)만큼 분명하고 훌륭하지는 않지만 여전히 모든 웹사이트에 부정적인 영향을 미칠 수 있습니다.

귀하가 Google 직원이고 문제를 조사하려는 경우 이 문제로 인해 발생한 일부 샘플 URL을 공유할 수 있습니다.

귀하의 사이트에서 이 버그 또는 유사한 색인 생성 버그를 발견하셨습니까? 알려줘요!