Google Search Console에서 "발견됨 - 현재 인덱싱되지 않음"을 수정하는 방법

Google 문서 는 발견됨 - 현재 Google 색인 범위 보고서에서 색인이 생성되지 않은 상태를 다음과 같이 정의합니다.

Google에서 페이지를 찾았지만 아직 크롤링되지 않았습니다. 일반적으로 Google은 URL을 크롤링하려고 했지만 사이트에 과부하가 걸릴 것으로 예상되었습니다. 따라서 Google은 크롤링 일정을 다시 잡았습니다. 이것이 보고서에서 마지막 크롤링 날짜가 비어 있는 이유입니다.

출처: Google의 색인 범위 보고서

Tomek Rudzki 는 Google Search Console에 표시되는 가장 일반적인 인덱싱 문제 를 조사한 결과 발견됨 - 현재 인덱싱되지 않음이 다음 항목 중 하나임을 발견했습니다.

• 중복 콘텐츠,
• 크롤링됨 - 현재 인덱싱되지 않음,
• 소프트 404와
• 크롤링 문제.

발견된 문제 해결 – 현재 인덱싱되지 않은 문제는 많은 페이지에 영향을 줄 수 있고 일부 페이지가 크롤링되어 이후에 인덱싱되지 않았음을 나타내므로 우선순위가 되어야 합니다.

이 문제는 해결되지 않으면 일부 페이지가 Google 색인에 포함되지 않는 여러 요인으로 인해 발생할 수 있습니다. 그런 경우에는 유기적 트래픽을 가져오지 않고 전환을 유도하지 않습니다.

이 문서는 검색 콘솔의 색인 범위 보고서에서 현재 색인이 생성되지 않은 검색된 항목 에 대해 자세히 설명하며 페이지가 해당 페이지에 도달하는 이유와 페이지를 유발할 수 있는 문제를 해결하는 방법에 중점을 둡니다.

발견된 위치를 찾을 수 있는 위치 - 현재 인덱싱되지 않은 상태

발견됨 – 현재 색인이 생성되지 않음은 Google Search Console 의 색인 범위 보고서 에 있는 문제 유형 중 하나입니다. 보고서는 웹사이트에 있는 페이지의 크롤링 및 색인 생성 상태를 보여줍니다.

발견됨 – 현재 색인이 생성되지 않음 은 Google에서 색인을 생성하지 않은 URL을 포함하는 제외 카테고리 에 표시되지만 Google의 관점에서 이 상황은 오류의 결과가 아닙니다.

Google Search Console을 사용할 때 문제 유형을 클릭하면 영향을 받는 URL 목록을 볼 수 있습니다.

보고된 URL 중 일부를 색인에 포함하지 않으려고 했을 수도 있습니다. 그러나 중요한 페이지를 모니터링 해야 합니다. 해당 페이지 중 색인이 생성되지 않은 페이지가 있으면 Google에서 어떤 문제를 발견했는지 확인하세요.

검색, 크롤링 및 인덱싱

Discovered의 특성으로 이동하기 전에 현재 색인이 생성되지 않고 이 문제를 해결하기 전에 Google에서 URL의 순위를 지정하는 데 필요한 사항을 명확히 합시다.

• Google 은 URL 을 크롤링하기 전에 먼저 찾아야 합니다. URL은 색인을 생성해야 하는 모든 페이지를 포함해야 하는 내부 또는 외부 링크 또는 XML 사이트맵 을 따라 가장 일반적으로 발견 됩니다.
• Google은 페이지 를 크롤링 하여 해당 페이지를 방문하여 콘텐츠를 확인합니다. Google은 검색한 모든 페이지를 크롤링할 수 있는 리소스를 보유하고 있지 않으며 이러한 사실이 사이트에서 발생하는 많은 크롤링 문제의 원인입니다.
• 색인 을 생성 하는 동안 Google은 페이지의 콘텐츠를 추출하고 품질을 평가합니다. 검색 결과에 표시되고 Google에서 유기적인 트래픽을 얻으려면 색인을 생성해야 합니다. 색인이 생성된 페이지는 사용자가 Google에 입력한 검색어에 대한 응답으로 순위가 매겨지는 방식을 결정하는 다양한 순위 요소를 기반으로 평가 됩니다.

Google에서 색인을 생성하는 것은 제한된 리소스 용량, 계속해서 성장하는 웹, Google이 색인을 생성하는 페이지에서 특정 수준의 품질을 기대하기 때문에 어렵습니다.

많은 기술 및 콘텐츠 관련 요인으로 인해 페이지가 크롤링되거나 색인 생성되지 않을 수 있습니다.

인덱싱될 가능성을 높이는 솔루션이 있습니다. 여기에는 다음이 포함됩니다.

• 웹사이트의 중요한 부분을 크롤링하는 데 우선 순위를 두는 크롤링 전략이 있는 경우
• 내부 연결 구현,
• 색인을 생성할 수 있어야 하는 모든 URL을 포함하는 정확한 사이트맵 만들기 및
• 고품질의 가치 있는 콘텐츠를 작성합니다.

Google 문서 를 살펴보십시오. Google에서 페이지를 더 쉽게 크롤링하고 색인을 생성할 수 있도록 따라야 할 가이드라인 섹션이 있습니다.  

Discovered – 현재 인덱싱되지 않은 보고서 섹션을 사용하는 방법

발견됨 – 현재 인덱싱되지 않음 상태는 잠재적인 크롤링 문제에 대한 최신 정보를 유지하기 위해 이동하는 곳입니다.

이 섹션에서 URL을 찾은 후 먼저 크롤링해야 하는지 확인하십시오.  

필요한 경우 보고서에 나타나는 URL에서 패턴을 찾으십시오 . 이렇게 하면 이러한 URL의 어떤 측면이 문제를 일으킬 수 있는지 식별하는 데 도움이 됩니다.

예를 들어, 문제는 제품의 특정 범주에 있는 URL, 매개변수가 있는 페이지 또는 특정 구조를 가진 URL과 관련되어 모두 얇은 콘텐츠로 간주될 수 있습니다.

발견된 경우 – 현재 인덱싱되지 않은 섹션에 조치가 필요함

발견됨 – 현재 색인이 생성되지 않은 URL은 항상 웹사이트를 변경해야 하는 것은 아닙니다.

즉, 다음과 같은 경우에는 아무 것도 할 필요가 없습니다.

• 영향을 받는 URL의 수가 적고 시간이 지나도 안정적으로 유지됩니다. 또는
• 보고서에는 크롤링하거나 색인을 생성해서는 안 되는 URL(예: 표준 또는 'NOINDEX' 태그가 있는 URL 또는 robots.txt 파일에서 크롤링이 차단된 URL)이 포함되어 있습니다.

그러나 이 보고서의 섹션을 통제하는 것은 여전히 ​​중요합니다.

URL의 수가 증가하거나 순위를 매기고 상당한 유기적 트래픽을 가져올 것으로 예상되는 가치 있는 URL로 구성된 경우 URL에 주의가 필요합니다.

Discovered의 영향 – 현재 소규모 웹사이트와 대규모 웹사이트에서 인덱싱되지 않음

발견됨 – 현재 색인이 생성되지 않은 섹션의 영향은 웹사이트의 크기에 따라 다를 수 있습니다.

일반적으로 URL이 10,000개를 초과하지 않는 더 작은 웹사이트가 있고 페이지에 양질의 고유 콘텐츠가 있는 경우 현재 색인 생성되지 않은 상태인 발견됨 상태는 종종 저절로 해결됩니다. Google에 문제가 없을 수 있지만 나열된 URL을 아직 크롤링하지 않았을 수 있습니다.

소규모 사이트는 일반적으로 크롤링 예산 문제를 다루지 않으며 콘텐츠 품질 문제나 내부 연결 구조가 좋지 않아 보고된 페이지가 급증할 수 있습니다.

발견됨 – 현재 인덱싱되지 않은 상태는 대규모 사이트(10,000개 이상의 URL)에서 특히 심각 할 수 있으며 수천 또는 수백만 개의 URL에 적용될 수 있습니다.

Onely에서는 100,000개 이상의 URL이 포함된 웹사이트에서 일반적으로 크롤링 문제 가 발생하는 것으로 나타났습니다. 이는 종종 크롤링 예산 낭비로 인해 발생합니다.

이러한 문제는 일반적으로 전자 상거래 웹사이트 에서 발생합니다 . 종종 중복되거나 얇은 콘텐츠가 있거나 재고가 없거나 만료된 제품이 포함되어 있습니다. 이러한 페이지는 일반적으로 크롤링은 고사하고 Google의 색인 생성 대기열에 들어가는 데 필요한 품질이 부족합니다.

대규모 사이트를 시작할 때

대규모 웹사이트를 막 시작하는 경우 처음부터 Googlebot의 작업을 더 쉽게 만들 수 있습니다.

대규모 사이트를 시작하려는 경우 나중에만 업데이트될 비어 있거나 완료되지 않은 페이지가 많이 포함되어 있는 경우 전체 구조를 즉시 시작해서는 안 됩니다. Googlebot은 이러한 페이지를 발견하고 품질이 낮은 것으로 간주하여 처음부터 크롤링 예산이 부족할 위험이 있습니다. 그리고 이 상황을 해결하는 데 몇 년이 걸릴 수도 있습니다.

콘텐츠를 정기적으로 출시하면서 추가하는 것이 훨씬 좋습니다 . 이렇게 하면 Googlebot이 처음부터 품질에 대해 긍정적인 인상을 받을 수 있습니다.

시작하기 전에 항상 인덱싱 및 크롤링 전략 을 마련하고 Google에서 방문해야 하는 페이지를 알고 있어야 합니다.

발견됨의 원인 – 현재 색인이 생성되지 않은 상태 및 해결 방법

일반적으로 URL은 발견됨으로 분류됩니다. 현재 콘텐츠 품질, 내부 연결 또는 크롤링 예산 문제 로 인해 색인이 생성되지 않습니다 .

페이지가 이 상태로 표시되는 이유와 해결 방법을 살펴보겠습니다.

콘텐츠 품질 문제

Google은 웹에서 모든 것을 크롤링하고 색인을 생성할 수 없기 때문에 페이지가 충족하기를 원하는 품질 임계값을 가지고 있습니다.

Google은 도메인의 일부 페이지를 크롤링할 가치가 없는 것으로 보고 건너뛰어 더 가치 있는 다른 콘텐츠에 우선순위를 둘 수 있습니다. 결과적으로 이러한 URL은 현재 인덱싱되지 않은 검색됨으로 표시될 수 있습니다.

John Mueller가 말했듯 이 URL을 Discovered(현재 색인이 생성되지 않음)로 표시하는 것은 표시된 페이지에만 국한되지 않고 사이트 전체의 콘텐츠 품질 문제일 수 있다는 점에 유의할 필요가 있습니다. Google에서 귀하의 사이트를 웹의 다른 콘텐츠에 비해 품질이 낮은 것으로 판단하면 페이지 크롤링 및 색인 생성을 건너뛸 수 있습니다.

이 문제를 해결하려면 영향을 받는 URL 목록을 살펴보고 각 페이지에 고유한 콘텐츠가 포함되어 있는지 확인하세요. 콘텐츠는 사용자의 검색 의도를 만족시키고 특정 문제를 해결해야 합니다.

웹사이트를 평가할 때 Google이 따르는 품질 평가자 가이드라인 을 검토하는 것이 좋습니다 . 이는 웹에서 찾은 콘텐츠에서 Google이 찾고 있는 내용을 이해하는 데 도움이 됩니다.

동시에 모든 페이지의 색인을 생성해서는 안 된다는 사실을 잊지 마십시오.  

다음 과 같은 일부 저품질 페이지는 색인을 생성할 수 없습니다 .

• 오래된 콘텐츠(예: 오래된 뉴스 기사),
• 웹사이트 내의 검색창에 의해 생성된 페이지,
• 필터를 적용하여 생성된 페이지,
• 중복 콘텐츠,
• 자동 생성 콘텐츠,
• 사용자 생성 콘텐츠.

이러한 섹션이 robots.txt 파일에서 크롤링 및 색인 생성되는 것을 차단하는 것이 가장 좋습니다.  

2021년 12월 31일 SEO 근무 시간 동안 John Mueller는 현재 인덱싱되지 않은 Discovered 문제를 해결하기 위한 방법으로 웹사이트 품질을 변경하는 것에 대해 논의했습니다.

[...] 웹사이트에서 더 큰 품질 변경을 수행하는 것은 Google 시스템이 이를 선택하는 데 상당한 시간이 걸립니다. [… ] 이것은 며칠이 아니라 몇 달에 걸쳐 더 많은 것입니다. [...] 품질 변경 사항을 확인하는 데 시간이 오래 걸리므로 작은 변경 사항을 적용하고 충분히 좋은지 확인하는 것이 아니라 상당한 품질 변경 사항을 적용하는 경우 실제로 확인하는 것이 좋습니다. [...] 정말 좋은 품질 변경 [...]입니다. 몇 개월을 기다렸다가 '아, 사실 다른 페이지도 변경해야 합니다.'라고 결정하고 싶지는 않을 것입니다.

출처: 존 뮬러

내부 연결 문제

Googlebot은 사이트의 내부 링크를 따라 다른 페이지를 검색하고 페이지 간의 연결을 이해합니다. 따라서 가장 중요한 페이지가 내부적으로 자주 연결되도록 하십시오.

Martin Splitt은 렌더링 SEO 웨비나 에서 잘못된 연결 구조가 문제가 될 수 있는 이유에 대해 말했습니다 .

[...] 수천 개의 URL이 있는데 모두 사이트맵에만 있고 우리가 크롤링한 다른 페이지에서는 본 적이 없다면 '우리는 얼마나 중요한지 모릅니다. 이것은 정말 '[...]입니다. 사이트맵에 있는 것 대신 웹사이트의 다른 위치에서 링크하여 이 페이지를 크롤링할 때 '아하! 그래서 이 페이지, 이 페이지, 이 페이지가 모두 이 제품 페이지를 가리키고 있으므로 사이트맵에만 있는 이 다른 제품보다 조금 더 중요할 수도 있습니다.' […]

출처: 마틴 스플리트

적절한 내부 링크는 페이지를 연결하여 검색 엔진과 사용자가 사이트의 계층 구조를 따르는 데 도움이 되는 논리적 구조를 만드는 것을 중심으로 이루어집니다. 내부 연결은 사이트 아키텍처가 배치되는 방식과도 관련이 있습니다.

검색 엔진이 귀하의 페이지에 적절한 중요도를 찾고 할당하는 데 도움이 되는 것은 다음과 같습니다.

• 초석 콘텐츠가 무엇인지 결정하고 다른 페이지에서 링크되었는지 확인하고,
• 콘텐츠에 문맥 링크를 추가하고,
• 예를 들어 상위 페이지를 하위 페이지에 또는 그 반대로 연결하거나 사이트 탐색에 링크를 포함하여 계층 구조를 기반으로 페이지를 연결합니다.
• 스팸 방식으로 링크를 배치하고 앵커 텍스트를 과도하게 최적화하는 것을 피하고,
• 관련 제품 또는 게시물에 대한 링크 통합.

내부 링크 구조 개선에 대한 이 기사도 읽을 수 있습니다 .  

크롤링 예산

크롤링 예산 은 Googlebot 이 웹사이트에서 크롤링할 수 있고 크롤링하려는 페이지 수입니다.

사이트의 크롤링 예산은 다음에 의해 결정됩니다.

• 크롤링 속도 제한 – Google이 크롤링할 수 있는 URL 수(웹사이트 기능에 맞게 조정됨)
• 크롤링 수요 – 인기도와 업데이트 빈도를 살펴봄으로써 URL을 얼마나 중요하게 생각하는지에 따라 Google이 크롤링하려는 URL 수입니다.

크롤링 예산을 낭비하면 검색 엔진이 웹사이트를 비효율적으로 크롤링 할 수 있습니다. 결과적으로 웹사이트의 일부 기본적인 부분을 건너뛸 수 있습니다.

크롤링 예산 문제를 일으킬 수 있는 많은 요인은 다음과 같습니다.

• 저질 콘텐츠,
• 열악한 내부 연결 구조,
• 리디렉션 구현의 실수,
• 과부하된 서버,
• 무거운 웹사이트.

크롤링 예산을 최적화하기 전에 Googlebot이 사이트를 크롤링하는 방법을 정확히 조사해야 합니다.  

Search Console에서 다른 유용한 도구인 크롤링 통계 보고서 로 이동하여 이를 수행할 수 있습니다 . 또한 서버 로그에서 Googlebot이 크롤링한 리소스와 건너뛴 리소스에 대한 자세한 정보를 확인하세요.

다음은 크롤링 예산을 최적화하고 Google이 현재 사이트에서 색인이 생성되지 않은 일부 발견된 페이지를 크롤링하도록 하기 위해 조사해야 하는 5가지 측면입니다.

저품질 콘텐츠

Googlebot이 낮은 품질의 페이지를 자유롭게 크롤링할 수 있다면 웹사이트의 중요한 정보에 접근할 수 있는 리소스가 없을 수 있습니다.

검색 엔진 크롤러가 특정 페이지를 크롤링하지 못하도록 하려면 robots.txt 파일에 올바른 지시문을 적용하십시오.

또한 Googlebot이 사이트에서 고유하고 색인 생성 가능한 페이지를 검색하고 변경 사항을 알 수 있도록 웹사이트에 올바르게 최적화된 사이트맵이 있는지 확인해야 합니다.

사이트맵에는 다음이 포함되어야 합니다.

• 200개의 상태 코드로 응답하는 URL,
• 색인 생성을 차단하는 메타 로봇 ​​태그가 없는 URL 및
• 페이지의 표준 버전만.

내부 연결 구조 불량

Google이 URL로 연결되는 충분한 링크를 찾지 못하면 중요성을 나타내는 신호가 충분하지 않기 때문에 크롤링을 건너뛸 수 있습니다.

"내부 연결 문제" 하위 장에 설명된 지침을 따르십시오.

리디렉션 구현의 실수

리디렉션을 구현하면 사이트에 도움이 될 수 있지만 올바르게 수행된 경우에만 가능합니다. Googlebot이 리디렉션된 URL을 발견할 때마다 도착 URL에 도달하기 위해 추가 요청을 보내야 하므로 더 많은 리소스가 필요합니다.

리디렉션 구현에 대한 모범 사례를 준수해야 합니다 . 외부 소스에서 링크된 404 오류 페이지에서 작업 페이지로 사용자와 봇을 모두 리디렉션할 수 있으므로 순위 신호를 유지하는 데 도움이 됩니다.

리디렉션된 페이지에 링크하지 않았는지 확인하세요 . 대신 올바른 페이지를 가리키도록 업데이트하세요. 또한 리디렉션 루프와 체인을 피해야 합니다.

서버 문제

사이트에 과부하가 걸려 Google에서 크롤링 문제가 발생할 수 있습니다. 이는 크롤링 예산에 영향을 미치는 크롤링 속도가 서버 기능에 맞게 조정되기 때문에 발생합니다.

Rendering SEO 에 대한 웨비나에서 Martin Splitt은 Google의 페이지 크롤링과 관련된 서버 문제에 대해 논의했습니다.

[...] 제가 자주 목격하는 한 가지는 서버에서 간헐적인 오류(특히 500개)가 발생 하고 서버가 500, 501, 502, 504로 응답하는 모든 것이 , 여기에 문제가 있습니다' [...], 그리고 그것은 어느 순간 넘어갈 수 있으므로 우리는 물러납니다. 우리가 후퇴하고 서버가 긍정적으로 응답할 때마다 우리는 일반적으로 다시 천천히 증가합니다. 매일 500개의 응답이 있다고 상상해 보십시오.

우리는 이것을 보고 있고, 약간 후퇴하고 있고, 다시 증가하고 있습니다. 우리는 그것을 다시 보고 있습니다 [...]. 서버가 부정적으로 응답하는지 조사해야 합니다.

출처: 마틴 스플리트

사이트에 서버 문제가 있는 경우 호스팅 제공업체에 문의하세요.

서버 문제는 웹 성능 저하로 인해 발생할 수도 있습니다. 웹 성능 및 크롤링 예산에 대한 자세한 내용은 기사를 참조하십시오.  

무거운 웹사이트

크롤링 문제는 일부 페이지가 너무 무거워서 발생할 수 있습니다. Google은 리소스를 크롤링하고 렌더링하기에 충분하지 않을 수 있습니다.

Googlebot이 페이지를 렌더링하기 위해 가져와야 하는 모든 리소스는 크롤링 예산에 포함됩니다. 이 경우 Google은 페이지를 확인하지만 우선 순위 대기열에서 페이지를 추가로 푸시합니다.

코드의 부정적인 영향을 줄이려면 사이트의 JavaScript 및 CSS 파일을 최적화해야 합니다.

새로운 웹사이트를 갖는 것

Tomek Rudzki는 새로운 사이트의 색인 생성 문제에 대해 SEO 커뮤니티에 질문한 Twitter 설문 조사를 만들었습니다. 그리고 설문 조사 결과에 따르면 거의 40%의 사람들이 이러한 문제를 경험했습니다.

최근에 새 웹사이트의 색인 생성에 문제가 있습니까?

— Tomek Rudzki(@TomekRudzki) 2021년 12월 7일

SEO Office Hours 세션 중 하나에서 참가자는 2개월 전에 시작된 새 웹사이트를 불러왔습니다. 여기에서 현재 인덱싱되지 않은 많은 페이지가 Discovered로 표시되어 있습니다. 그런 다음 그는 이 상태로 페이지가 얼마나 오래 표시되어야 하는지 물었고 John은 이에 대해 다음과 같이 대답했습니다.

그것은 영원히 […] 수 있습니다. 특히 최신 웹사이트에서 콘텐츠가 많다면 한동안 새로운 콘텐츠가 많이 발견되고 색인이 생성되지 않을 것으로 예상됩니다. 그리고 시간이 지나면서 보통은 그런 식으로 바뀌게 됩니다. 웹사이트 자체에 더 집중하는 것이 실제로 가치가 있다는 것을 알았을 때 실제로 크롤링되거나 실제로 인덱싱되는 것과 같습니다.

출처: 존 뮬러

일반적으로 페이지 인덱싱을 위한 빠른 수정 사항은 없지만 앞서 설명한 SEO 측면을 살펴보면 페이지를 인덱싱할 수 있는 더 나은 기회를 얻는 데 도움이 될 수 있습니다.

Google이 고품질 콘텐츠만 인덱싱하기를 원하고 이러한 품질 임계값이 증가하는 것으로 보입니다. 그러나 이는 콘텐츠가 색인에 포함될 자격이 있음을 Google에 계속해서 증명해야 하는 새로운 웹사이트의 경우 특히 어렵습니다.

발견된 문제 해결에 대한 추가 정보 – 현재 인덱싱되지 않음

SEO 근무 시간 동안 John Mueller는 웹사이트의 URL 중 약 99%가 발견됨 - 현재 색인이 생성되지 않은 보고서 섹션에 있는 문제를 해결하는 방법에 대해 질문을 받았습니다.

John의 권장 사항은 세 가지 주요 단계를 중심으로 이루어졌습니다.

[...] 우선 [...] 다른 URL 패턴을 가진 URL을 실수로 생성하지 않는지 [...] URL에 있는 매개변수, 대문자, 소문자, 이러한 모든 요소가 본질적으로 콘텐츠를 복제합니다 . 그리고 이러한 중복 URL이 많이 발견된 경우 이 페이지의 일부 변형이 이미 있기 때문에 실제로 이러한 모든 중복 URL을 크롤링할 필요가 없다고 생각할 수 있습니다 […]. 내부 연결에서 모든 것이 정상 인지 확인하십시오 . 귀하의 웹사이트에서 이러한 모든 페이지를 크롤링하여 끝까지 통과할 수 있습니다. 크롤러 도구 나 Screaming Frog 또는 Deep Crawl 과 같은 도구를 사용하여 대략적으로 테스트 할 수 있습니다 . [...] 기본적으로 웹사이트를 크롤링할 수 있는지 여부를 알려주고 해당 크롤링 중에 발견된 URL을 보여줍니다. 크롤링이 작동한다면 이 페이지의 품질에 집중할 것입니다 . 2천만 페이지에 대해 이야기하고 있고 그 중 99%가 인덱싱되지 않고 있다면 웹사이트의 아주 작은 부분만 인덱싱하고 있는 것입니다. [...] 아마도 '글쎄, 내가 페이지 수 를 절반으로 줄이거나 [...] 현재 카운트의 10%로 줄이면 어떨까'라고 말하는 것이 합리적일 것입니다. [...] 일반적으로 이 페이지에 보다 포괄적인 콘텐츠를 포함함으로써 콘텐츠의 품질을 조금 더 높일 수 있습니다. 그리고 우리 시스템의 경우 이 페이지를 보고 '음, 이 페이지는 […] 실제로 꽤 좋아 보입니다. 우리는 더 많이 크롤링하고 색인을 생성해야 합니다.'

출처: 존 뮬러

2022년 2월 18일의 다른 근무 시간 세션에서 John은 "발견됨 - 현재 인덱싱되지 않음"으로 멈춘 것처럼 보이는 많은 수의 URL에 대해 다시 한 번 질문을 받았습니다.

John은 종종 다음과 같은 상태의 페이지가 많은 것이 정상이라고 말했습니다.

[...] 어느 정도까지는 Google이 모든 것을 크롤링하고 색인을 생성할 수 없다는 점을 인정합니다. […] 예를 들어 […] 개별 제품이 크롤링 및 색인화되지 않는다는 사실을 알고 있다면 최소한 해당 제품에 대한 카테고리 페이지가 크롤링 및 색인화되었는지 확인하십시오. 그렇게 하면 사람들은 여전히 ​​귀하의 웹사이트에서 해당 개별 제품에 대한 일부 콘텐츠를 찾을 수 있습니다 [...].

출처: 존 뮬러

SEO 커뮤니티의 회원들은 현재 몇 달 동안 색인이 생성되지 않은 발견됨으로 표시된 페이지 수가 증가했다고 보고했습니다. 일부는 이 문제를 해결하기 위한 대체 솔루션을 테스트하고 있습니다.

Dan Shure는 멈춘 콘텐츠를 다른 URL로 이동 하여 테스트하기로 결정했으며 결과적으로 실제로 색인이 생성되었습니다.

따라서 이러한 페이지의 대부분은 처음에 이 상태로 남겨진 후 단순히 멈추는 것 같습니다.

발견됨 - 현재 인덱싱되지 않음 vs. 크롤링됨 - 현재 인덱싱되지 않음

이 두 가지 상태는 일반적으로 혼동되며 연결되어 있지만 의미가 다릅니다.

두 경우 모두 URL의 색인이 생성되지 않았지만 크롤링됨(현재 색인이 생성되지 않음)을 사용하면 Google이 이미 페이지를 방문했습니다 . 발견됨 - 현재 색인이 생성되지 않은 상태에서 Google에서 페이지를 찾았지만 크롤링되지 않았습니다.

크롤링됨 - 현재 인덱싱되는 것은 인덱싱 지연, 콘텐츠 품질 문제, 사이트 아키텍처 문제 또는 페이지의 인덱싱 해제로 인해 발생하는 경우가 많습니다.

현재 인덱싱되지 않은 크롤링을 수정하는 방법을 설명하는 자세한 기사도 있습니다 .

마무리

발견됨 – 현재 색인이 생성되지 않은 것은 페이지 품질 및 크롤링 예산 문제로 인해 발생하는 경향이 있습니다.

이러한 문제를 해결하고 Google에서 향후 효율적이고 정확하게 페이지를 크롤링할 수 있도록 하려면 페이지의 여러 측면을 살펴보고 최적화해야 할 수 있습니다.

다음은 현재 인덱싱되지 않은 페이지에서 발견된 문제를 방지하는 데 도움이 되는 몇 가지 주요 사항입니다.

• robots.txt를 사용하여 Googlebot이 중복 콘텐츠(예: 사이트의 필터 또는 검색창에 의해 생성된 페이지)에 초점을 맞춰 저품질 페이지를 크롤링하지 못하도록 합니다.
• 시간을 내어 Google에서 페이지를 검색하는 데 사용할 수 있는 적절한 사이트맵을 만드십시오.

• 사이트 아키텍처를 그대로 유지하고 중요한 페이지가 내부적으로 연결되도록 합니다.
• 가장 가치 있는 페이지의 우선 순위를 지정하는 색인 ​​전략을 마련하십시오.
• 크롤링 예산을 염두에 두고 최적화하세요.