Google Search Console에서 "크롤링됨 - 현재 색인이 생성되지 않음"을 수정하는 방법

Google 문서는 크롤링됨 - 현재 색인 상태가 아님을 다음과 같이 정의합니다.

페이지가 Google에 의해 크롤링되었지만 색인이 생성되지 않았습니다. 앞으로 색인이 생성될 수도 있고 그렇지 않을 수도 있습니다. 크롤링을 위해 이 URL을 다시 제출할 필요가 없습니다.

출처: 구글

특히 상태가 귀하의 비즈니스에 중요한 페이지에 영향을 미치는 경우 이 설명을 읽는 것이 답답할 수 있습니다. Google의 정의는 무슨 일이 일어났고 다음에 무엇을 할 수 있는지 명확하지 않습니다. Googlebot 이 페이지를 크롤링했지만 어떤 이유로 인해 색인을 생성하지 않기로 결정했다고 합니다.

우리 연구 에 따르면 크롤링됨 – 현재 색인이 생성되지 않은 상태는 색인 범위 보고서에서 보고되는 가장 일반적인 문제입니다. 그것은 당신이 이미 그것을 경험했거나 미래에 그것을 경험할 가능성이 있음을 의미합니다.

가능한 한 빨리 문제를 해결하는 것이 중요합니다. 결국 페이지에 색인이 생성되지 않으면 검색 결과에 나타나지 않으며 Google에서 유기적인 트래픽을 얻지 못합니다.  

이 문서에서는 현재 색인 상태가 아닌 크롤링의 가능한 원인과 해결 방법을 제시합니다 .

크롤링됨 - 현재 인덱싱되지 않은 상태는 어디에서 찾을 수 있습니까?

색인 범위 보고서 및 Google Search Console 의 URL 검사 도구 에서 상태를 확인할 수 있습니다 .

인덱스 커버리지 보고서

크롤링됨 – 현재 색인이 생성되지 않은 항목은 '제외됨' 카테고리에 속하며, 이는 Google에서 페이지의 색인이 생성되지 않은 것이 실수라고 생각하지 않음을 나타냅니다.  

이러한 페이지는 일반적으로 색인이 생성되지 않으며 이것이 적절하다고 생각합니다. 이러한 페이지는 색인이 생성된 페이지와 중복되었거나 사이트의 일부 메커니즘에 의해 색인 생성이 차단되었거나 오류가 아니라고 판단되는 이유로 색인이 생성되지 않았습니다.

출처: 구글

크롤링됨 - 현재 색인이 생성되지 않은 상태를 클릭하면 영향을 받는 URL 목록이 표시됩니다. 이를 검토하고 가장 가치 있는 페이지의 문제를 해결하는 데 우선순위를 두어야 합니다.

보고서를 내보낼 수도 있습니다. 그러나 최대 1000개의 URL만 내보낼 수 있습니다. 더 많은 페이지가 영향을 받는 경우 사이트맵 관련 페이지를 필터링하여 내보낸 URL의 수를 늘릴 수 있습니다. 예를 들어 각각 URL이 1000개인 사이트맵이 두 개 있는 경우 두 사이트맵을 별도로 내보낼 수 있습니다.

URL 검사 도구

Google Search Console의 URL 검사 도구는 현재 색인이 생성되지 않은 크롤링된 URL에 대해서도 알려줄 수 있습니다.

도구의 상단 섹션은 URL을 Google에서 찾을 수 있는지 여부를 알려줍니다. 검사된 URL이 색인 범위 보고서의 제외됨 범주에 속하는 경우 URL 검사 도구는 "페이지가 색인에 없지만 오류로 인한 것이 아닙니다."라고 보고합니다.

아래에서 검사된 URL의 현재 적용 범위 상태에 대한 보다 구체적인 정보를 찾을 수 있습니다. 위의 경우 URL이 크롤링됨 - 현재 인덱싱되지 않습니다.

버그 보고: 페이지가 실제로 색인이 생성되었을 수 있습니다.

크롤링됨 - 현재 색인이 생성되지 않은 상태를 확인한 후 가장 먼저 해야 할 일은 페이지가 실제로 색인이 생성되지 않았는지 조사하는 것입니다.

크롤링(Crawled)으로 표시된 페이지를 보는 것은 드문 일이 아닙니다. 현재 색인 범위 보고서에 색인이 생성되지 않은 반면 URL 검사 도구는 페이지가 실제로 색인이 생성되었음을 나타냅니다.

URL 검사 도구를 사용하면 다음을 포함하여 특정 URL에 대한 세부정보를 확인할 수 있습니다.

• 인덱싱 문제,
• 구조화된 데이터 오류,
• 모바일 사용성,
• 로드된 리소스를 봅니다(예: JavaScript).

URL에 대한 인덱싱을 요청하거나 페이지의 렌더링된 버전을 볼 수도 있습니다.

Google의 John Muller는 Google의 SEO 업무 시간 동안 Index Coverage 보고서와 URL 검사 도구 간의 차이점으로 문제를 해결했습니다.

최근에 Twitter에서 사람들이 Search Console에서 색인 생성되지 않는 것으로 표시된 URL을 본 스레드를 본 적이 있습니다. 그런 다음 개별적으로 확인하면 실제로 인덱싱됩니다. 나는 아직 거기에서 무슨 일이 일어나고 있는지 정확히 모른다. [...] 제 의심은 시간 문제가 더 크다는 것입니다. 우리는 이를 Search Console 보고서에 표시한 다음 시간이 지남에 따라 색인을 생성합니다. 그런 다음 어느 시점에서 그들은 보고서에서 다시 탈락했습니다. 그리고 이유가 무엇이든, 자퇴하는 데 필요한 것보다 조금 더 오래 걸립니다.

출처: 존 뮬러

John이 말했듯이 단순히 이 두 도구 간의 지연 및 데이터 동기화 문제일 수 있으며 시간이 지남에 따라 Index Coverage 보고서에서 상태가 업데이트될 수 있습니다.

그러나 항상 지연되는 것은 아닙니다. 때로는 보고 버그입니다.

9월에 색인이 생성된 기사 중 일부가 현재 색인이 생성되지 않은 크롤링을 보고하고 있음을 확인했습니다.

GSC를 사용하면 크롤링되지만 여전히 Google에서 색인을 생성하지 않는 페이지를 확인할 수 있습니다.

GSC는 현재 인덱싱되지 않은 일부 기사를 크롤링된 것으로 나열했습니다.

그러나 URL 검사 도구는 이러한 항목을 인덱싱된 것으로 표시합니다.

그리고 그것들은 실제로 인덱싱됩니다.

통찰력이 있습니까, #SEOTwitter? pic.twitter.com/xv0IYpGLa

— 원리(@OnelyCom) 2021년 9월 16일

오래된 기사도 영향을 받았기 때문에 그것은 확실히 지연 문제가 아니었 습니다.  

얼마 지나지 않아 Lily Ray를 비롯한 다른 SEO들이 바로 이 문제에 주목하기 시작했습니다.

다른 사람들은 이미 이에 대해 트윗했지만 저는 GSC의 "크롤링됨, 인덱싱되지 않음" 보고서(최근 크롤링 날짜 포함)에서 실제로 인덱싱된 URL인 URL의 많은 예를 보고 있습니다.

개별 URL을 검사하면 종종 아래 메시지가 나타납니다.

@danielwaisberg @googlesearchc의 생각? pic.twitter.com/i1XfcvldEq

— 릴리 레이(@lilyraynyc) 2021년 9월 28일

이 상황에서 무엇을해야합니까? 어떤 보고서를 믿어야 할까요?

일반적 으로 URL 검사 도구는 색인 범위 보고서보다 최신 데이터를 표시합니다. 그렇기 때문에 이러한 보고서 중에서 선택해야 할 때 항상 URL 검사 도구를 더 신뢰해야 합니다.

크롤링 - 현재 색인 생성되지 않은 상태의 원인 및 솔루션

이제 문제의 근본 원인인 상태가 나타나는 원인과 문제를 해결하기 위해 수행할 수 있는 작업에 대해 알아보겠습니다.

Google은 페이지가 크롤링되었지만 색인이 생성되지 않은 이유에 대한 명확한 답변을 제공하지 않지만 다음을 포함하여 상태가 표시될 수 있는 몇 가지 이유가 있습니다.

• 인덱싱 지연,
• 페이지가 품질 기준을 충족하지 않습니다.
• 페이지 색인이 해제되었습니다.
• 웹사이트 아키텍처 문제,
• 중복 콘텐츠 문제.

인덱싱 지연

Google이 페이지를 방문하는 것은 드문 일이 아니지만 색인을 생성하는 데 시간이 걸립니다. 인터넷은 무한히 넓기 때문에 Google은 먼저 색인을 생성할 페이지의 우선 순위를 지정해야 합니다.

인덱싱 SEO에 대한 궁극적인 가이드 에서 인기 있는 웹사이트의 페이지가 인덱싱되는 데 걸리는 시간을 보여주었습니다. 다음은 조사 결과 중 일부입니다.

• Google은 게시된 지 1일 후에 색인 생성 가능한 URL의 56%만 색인을 생성합니다.
• 2주 후 URL의 87%만 색인화됩니다.

출처: Tomek Rudzki

페이지를 게시한 지 얼마 되지 않은 경우 아직 색인이 생성되지 않은 것이 지극히 정상일 수 있으며 Google에서 콘텐츠 색인을 생성할 때까지 조금 더 기다려야 합니다.

해결책

단기적으로는 페이지 크롤링 및 색인 생성에 영향을 줄 수 없지만 장기적으로 웹사이트를 돕기 위해 할 수 있는 몇 가지 방법이 있습니다.

• Google이 사이트에서 올바른 페이지의 우선 순위를 정할 수 있도록 색인 전략을 만드십시오. 이렇게 하려면 색인을 생성해야 하는 페이지와 이를 Google에 전달하는 가장 좋은 방법을 결정해야 합니다.
• 관심 있는 페이지에 대한 내부 링크가 있는지 확인하십시오. 이는 Google이 페이지를 찾고 해당 컨텍스트에 대해 자세히 알아보는 데 도움이 됩니다.
• 최적화된 사이트맵을 만드십시오. 소중한 URL을 나열하는 간단한 텍스트 파일입니다. Google은 이를 로드맵으로 사용하여 페이지를 더 빨리 찾을 것입니다.

페이지가 품질 표준을 충족하지 않음

Google은 인터넷의 모든 페이지에 대한 색인을 생성할 수 없습니다. 저장 공간이 제한되어 있으므로 저품질 콘텐츠를 필터링해야 합니다.

Google의 목표는 사용자의 의도에 가장 적합한 최고 품질의 페이지를 제공하는 것입니다. 즉, 페이지의 품질이 낮으면 Google에서 이를 무시하여 고품질 콘텐츠에 사용할 수 있는 저장 공간을 남겨 둘 가능성이 큽니다. 그리고 앞으로 더 엄격해질 품질 기준을 기대할 수 있습니다.

해결책

웹사이트 소유자는 페이지가 고품질 콘텐츠를 제공하는지 확인해야 합니다. 사용자의 의도를 만족시킬 수 있는지 확인하고 필요한 경우 양질의 콘텐츠를 추가하세요. Google은 콘텐츠의 가치를 판단하는 데 도움이 되는 질문 목록을 제공합니다. 다음은 그 중 일부입니다.

• 콘텐츠가 독창적인 정보, 보고, 연구 또는 분석을 제공합니까?
• 콘텐츠가 통찰력 있는 분석이나 명확하지 않은 흥미로운 정보를 제공합니까?
• 북마크에 추가하거나, 친구와 공유하거나, 추천하고 싶은 페이지입니까?
• 콘텐츠가 다른 소스를 사용하는 경우 해당 소스를 단순히 복사하거나 다시 작성하는 대신 상당한 부가 가치와 독창성을 제공합니까?

출처: 구글

또한 Google의 품질 평가자 가이드라인에서 양질의 콘텐츠에 대한 팁을 사용할 수 있습니다. 이 문서는 주로 검색 품질 평가자가 웹사이트의 품질을 평가하기 위한 것이지만 웹마스터는 이 문서를 사용하여 자신의 사이트를 개선하는 방법에 대한 통찰력을 얻을 수 있습니다. 자세히 알아보려면 품질 평가자 가이드라인에 대한 가이드를 확인하세요.

사용자 생성 콘텐츠

사용자 제작 콘텐츠는 품질 측면에서 문제가 될 수 있습니다.

예를 들어 포럼이 있고 누군가 질문을 한다고 가정해 보겠습니다. 앞으로 소중한 답글이 많이 있을지도 모르지만 크롤링 당시에는 답이 없었기 때문에 구글은 해당 페이지를 저품질 콘텐츠로 분류할 수 있습니다.

이 상황에서 자신을 보호하려면 어떻게 해야 합니까?

Quora는 문제에 대한 훌륭한 전략을 생각해 냈습니다. 답변되지 않은 모든 질문에는 URL에 "/unanswered/" 접두사가 있습니다.

다음은 예입니다: https://www.quora.com/unanswered/Are-you-really-happy-with-your-results  

robots.txt 파일은 URL에 /unanswered/가 있는 모든 페이지를 차단합니다. 이는 Googlebot이 크롤링할 수 없음을 의미합니다.

질문에 대한 응답이 있으면 URL이 변경되고 크롤링할 수 있게 됩니다. 이런 식으로 Quora 는 사용자가 생성한 저품질 콘텐츠에 대한 액세스를 차단합니다.

페이지 색인이 해제됨

URL은 과거에 색인이 생성되었기 때문에 현재 색인이 생성되지 않은 크롤링 상태로 인해 문제가 발생할 수 있지만 Google은 시간이 지남에 따라 색인을 해제하기로 결정했습니다.

일부 항목이 색인에서 사라지는 이유가 궁금하다면 단순히 고품질 콘텐츠로 대체되었을 가능성이 큽니다.

인덱스 선택은 주로 (RAM/플래시/디스크) 공간에 관한 것이지만 콘텐츠 품질과 밀접하게 관련되어 있습니다. 사용 가능한 여유 공간이 많으면 더 형편없는 콘텐츠를 색인에 추가할 가능성이 높습니다. 그렇지 않으면 더 높은 품질의 문서를 위한 공간을 만들기 위해 항목의 색인을 제거할 수 있습니다. pic.twitter.com/jRMQdft0

— Gary 鯨理／경리 Illyes (@methode) 2020년 5월 15일

또한 알고리즘 업데이트에 주의해야 합니다. 새로운 알고리즘이 출시되어 페이지가 영향을 받았을 수 있습니다.

불행히도 색인 해제는 Google 측의 버그로 인해 발생할 수도 있습니다. 예를 들어, Google이 사이트가 해킹되었다고 잘못 가정했기 때문에 Search Engine Land의 색인이 삭제된 적이 있습니다.

해결책

색인이 제거된 페이지에 대한 솔루션은 품질과 밀접한 관련이 있습니다. 귀하는 항상 귀하의 페이지가 최고 품질의 콘텐츠를 제공하고 최신 상태인지 확인해야 합니다. 페이지의 색인이 생성되면 다시는 페이지에 대해 아무 것도 할 필요가 없다고 가정하지 마십시오. 계속 모니터링하고 필요한 경우 변경 및 개선을 구현합니다.

[...]핵심 업데이트 이후에 드롭되는 페이지는 수정할 문제가 없습니다. 즉, 핵심 업데이트 변경 후 실적이 저조한 사람들이 여전히 뭔가를 해야 한다고 느낄 수 있다는 점을 이해합니다. 가능한 최고의 콘텐츠를 제공하는 데 집중하는 것이 좋습니다. 그것이 우리 알고리즘이 보상하고자 하는 것입니다.

출처: 구글

문제를 수정한 후 해당 URL을 Google Search Console에 제출하면 Google에서 변경 사항을 더 빨리 알 수 있습니다.

웹사이트 아키텍처 문제

John Mueller는 페이지가 크롤링됨(현재 색인이 생성되지 않은 상태)으로 표시된 가능한 이유에 대해 질문을 받았을 때 또 다른 가능한 원인인 열악한 웹 사이트 구조를 언급했습니다.

페이지의 색인을 생성하도록 강제할 수는 없습니다. 모든 웹사이트의 모든 페이지에 대한 색인을 생성하지 않는 것은 정상입니다. "해당 페이지"의 문제가 아니라 사이트 전체에 문제가 있습니다. 좋은 사이트 구조를 만들고 사이트가 가능한 최고 품질인지 확인하는 것이 본질적으로 방향입니다.

— johnmu.xml (개인) (@JohnMu) 2021년 6월 28일

좋은 품질의 페이지가 있지만 Google이 페이지를 찾은 유일한 방법은 사이트맵에 페이지를 넣었기 때문이라고 가정해 보겠습니다.

Google은 페이지를 보고 크롤링할 수 있지만 내부 링크가 없기 때문에 페이지가 다른 페이지보다 가치가 낮다고 가정합니다. 페이지를 평가하는 데 도움이 되는 의미 체계 또는 구조적 정보가 없습니다. 이것이 Google이 다른 페이지에 집중하고 이 페이지를 크롤링한 후 색인에서 제외하기로 결정한 이유 중 하나일 수 있습니다.

해결책

좋은 웹사이트 아키텍처는 인덱싱 가능성을 극대화하는 데 도움이 됩니다. 이를 통해 검색 엔진 봇이 콘텐츠를 검색하고 페이지 간의 관계를 더 잘 이해할 수 있습니다.

그렇기 때문에 좋은 웹사이트 아키텍처를 제공하고 색인을 생성하려는 페이지에 대한 내부 링크가 있는지 확인하는 것이 중요합니다.

웹사이트 구조에 대해 자세히 알아보려면 순위를 매기고 전환하는 웹사이트를 구축하는 방법에 대한 기사를 확인하십시오.  

중복 콘텐츠

SEO 프리랜서인 Adam Gent 는 SEO 커뮤니티와 흥미로운 사례를 공유했습니다 . 그의 페이지는 크롤링(Crawled)을 보고하고 있었습니다. Google에서 중복 페이지라고 생각했기 때문에 현재 색인이 생성되지 않았습니다.

Google은 사용자에게 독특하고 가치 있는 콘텐츠를 제공하고자 합니다. 그렇기 때문에 크롤링 중에 일부 페이지가 동일하거나 거의 동일하다는 것을 깨달았을 때 그 중 하나만 색인을 생성할 수 있습니다.

일반적으로 다른 하나는 인덱스 범위 보고서에서 "중복"으로 레이블이 지정됩니다. 그러나 항상 그런 것은 아니며 때때로 Google은 크롤링됨(현재 색인이 생성되지 않음) 상태를 대신 할당합니다.

Google이 크롤링을 선택하는 이유는 완전히 명확하지 않습니다. 현재 중복 콘텐츠에 대한 전용 상태에 대해 인덱싱되지 않습니다. 가능한 설명 중 하나는 Google이 페이지에 더 적합한 것이 있는지 결정한 후 상태가 나중에 변경된다는 것입니다.

또 다른 옵션은 보고 버그 일 수 있습니다 . Google은 상태를 할당하는 동안 실수를 할 수 있습니다. 불행히도 현재 인덱싱되지 않은 크롤링이 중복 콘텐츠에 대한 전용 상태만큼 많은 정보를 제공하지 않기 때문에 상황이 더 어렵습니다.

검색 결과에 중복 페이지가 표시되는지 확인하는 방법은 무엇입니까?

1. 인덱싱되지 않은 페이지로 이동하여 임의의 텍스트 조각을 복사합니다.
2. Google 검색의 텍스트를 따옴표로 묶어 붙여넣습니다.
3. 결과를 분석합니다. 복사한 텍스트가 있는 다른 URL이 표시되면 Google에서 색인을 생성할 다른 URL을 선택했기 때문에 페이지의 색인이 생성되지 않았음을 의미할 수 있습니다.

해결책

무엇보다 먼저 원본 페이지를 만들어야 합니다. 필요한 경우 고유한 콘텐츠를 추가합니다.

안타깝게도 중복 콘텐츠는 불가피할 수 있습니다(예: 모바일 및 데스크톱 버전이 있는 경우). 검색 결과에 표시되는 내용을 많이 제어할 수는 없지만 Google에 원본 버전에 대한 힌트를 줄 수는 있습니다.

인덱싱된 중복 콘텐츠가 많이 발견되면 다음 요소를 평가하세요.

• 표준 태그 – 이 HTML 태그는 검색 엔진에 원본 버전을 알려줍니다.
• 내부 링크 – 내부 링크가 원본 콘텐츠를 가리키는지 확인합니다. Google은 이를 어떤 페이지가 더 중요한지 나타내는 지표로 사용할 수 있습니다.
• XML 사이트맵 – 사이트맵에 정식 버전만 있는지 확인합니다.

이는 힌트일 뿐이며 Google은 이를 따를 의무가 없습니다. Adam Gent가 설명한 경우에 Google은 많은 정규화 신호가 다른 원본 URL을 가리키고 있음에도 불구하고 색인을 생성할 RSS 피드 버전을 선택했습니다. Adam은 원본 버전만 남도록 404를 설정하여 문제를 해결했습니다. 그는 또한 모든 피드 URL에 X-robots HTTP 헤더를 설정하면 인덱싱되지 않을 것이라고 제안했습니다.

크롤링됨 – 현재 인덱싱되지 않음 vs. 발견됨 – 현재 인덱싱되지 않음

크롤링됨 - 현재 인덱싱되지 않음 상태는 일반적으로 인덱스 범위 보고서의 다른 인덱싱 문제와 혼동됩니다. 발견됨 - 현재 인덱싱되지 않습니다.

두 상태 모두 페이지가 인덱싱되지 않았음을 나타냅니다. 그러나 현재 색인이 생성되지 않은 크롤링의 경우 Google이 이미 페이지를 방문했습니다. 한편 Discovered – 현재 인덱싱되지 않음에서 URL은 Google에 알려져 있지만 어떤 이유로 인해 아직 크롤링되지 않았습니다.

이러한 상태의 원인 중 일부는 품질이 낮은 페이지 및 내부 연결 문제를 포함하여 유사할 수 있습니다. 그러나 발견됨 - 현재 색인이 생성되지 않음 상태가 표시되면 Google이 페이지에 액세스할 수 없거나 액세스를 원하지 않는 이유를 추가로 조사해야 합니다. 예를 들어 전체 웹 사이트의 전반적인 품질 문제, 크롤링 예산 문제 또는 서버 과부하를 나타낼 수 있습니다.

마무리

크롤링됨 - 현재 색인화되지 않은 것은 주로 페이지 품질과 관련이 있지만 실제로는 웹 사이트 아키텍처 또는 중복 콘텐츠와 같은 더 많은 문제를 나타낼 수 있습니다.

다음은 크롤링됨 - 현재 색인 생성되지 않은 상태를 처리하는 데 도움이 되는 기사의 주요 내용입니다.

• 귀하의 페이지에 독특하고 가치 있는 콘텐츠를 추가하십시오. 완료했으면 해당 URL을 Google Search Console에 제출하십시오. 이렇게 하면 Google에서 변경 사항을 더 빨리 감지할 수 있습니다.
• 웹사이트 아키텍처를 검토하고 귀중한 페이지에 대한 내부 링크가 있는지 확인하십시오.
• Google에서 가장 가치 있는 URL의 우선 순위를 정할 수 있도록 색인을 생성해야 하는 페이지와 색인을 생성하지 않아야 하는 페이지를 결정하세요.

현재 웹사이트에서 색인이 생성되지 않은 상태인 크롤링 문제를 해결하는 데 도움이 필요하면 당사의 기술 SEO 서비스가 바로 당신이 찾고 있는 것입니다.