검색 엔진은 웹의 모든 페이지를 검색하고 인덱싱할 수 없습니다. 이러한 측면에서 선택을 해야 합니다. 그리고 모든 검색 엔진이 동일한 목적을 수행하지만 색인을 생성할 페이지에 대해 서로 다른 기준을 사용합니다.

즉, 검색 엔진이 가능한 한 많은 가치 있는 콘텐츠를 크롤링하고 색인을 생성할 수 있다면 일반적으로 좋습니다. 그러면 사용자가 찾고 있는 것을 보여줄 가능성이 높아집니다.

일반적으로 어떤 검색 엔진(Bing 또는 Google)이 더 많은 콘텐츠를 색인화하는지 궁금했습니다.

이 기사는 내 연구의 다양한 측면을 설명하며, 확실한 결론을 내리려면 더 많은 데이터가 필요하지만 여전히 독특하고 귀중한 통찰력을 많이 수집했습니다.

다음은 Bing과 Google이 웹 페이지를 색인화하는 방법에 대해 발견한 내용입니다.

인덱싱 데이터 분석: 방법론 및 결과

임의의 WordPress 사이트 샘플의 색인 범위

내 연구의 첫 번째 단계는 색인 통계를 확인하기 위해 페이지 샘플을 수집하는 것이었습니다.

나는 Yoast SEO WordPress 플러그인 을 사용하는 웹사이트 샘플을 사용하는 것이 좋은 출발점이 될 것이라고 결정했습니다 . 이 플러그인을 선택한 실제적인 이유가 있었습니다. 사이트맵을 섹션별로 나누어 어떤 섹션이 가장 많이 인덱싱되는지 분석할 수 있습니다.

주어진 기술이나 도구를 사용하여 웹사이트를 보고하는 사이트인 builtwith.com 에서 Yoast SEO 플러그인을 사용하는 웹사이트 목록을 찾았습니다 . Yoast SEO를 사용하는 사이트 목록에서 200개의 웹사이트 중 무작위 샘플을 선택했습니다.

그런 다음 ZipTie.dev 를 사용하여 해당 웹 사이트의 인덱싱 통계를 확인했는데 나온 데이터가 매우 흥미로웠습니다.

Bing은 Google보다 더 많은 웹 페이지를 인덱싱했습니다.

특정 사이트맵 카테고리에 대한 색인 생성 통계를 보여주는 아래 차트를 살펴보세요.

인덱스 범위는 Bing 및 Google에서 기사 및 언론 범주에 대해 동일합니다. 또한 Google은 가이드 및 위치에서 더 많은 콘텐츠를 색인화했습니다. 그러나 나머지 모든 사이트맵 카테고리에서 Bing의 인덱싱은 게시물, 제품 및 이미지와 같은 중요한 카테고리를 포함하여 Google의 인덱싱을 능가합니다.

그러나 이것이 Bing이 Google보다 더 많은 페이지를 크롤링할 수 있음을 의미합니까? 아니면 비슷한 양의 콘텐츠를 크롤링하지만 인덱싱과 관련하여 다른 기본 설정을 가지고 있습니까?

고객 샘플에 대한 데이터 크롤링

내 발견을 확장하기 위해 Bing 웹마스터 도구 와 Google Search Console에서 일부 클라이언트의 데이터를 확인했습니다.  

이 도구는 해당 검색 엔진이 주어진 도메인에 대해 알고 있는 페이지를 보여줍니다.

Google Search Console에서 Index Coverage 보고서 에 나타나는 모든 알려진 페이지를 살펴 보고 4가지 상태(오류, 유효, 경고가 있는 유효, 제외) 모두에 대한 URL 수를 확인했습니다.

Bing 웹마스터 도구의 사이트 탐색기 섹션에서 지정된 도메인의 페이지에 대한 인덱싱 데이터를 포함하고 모든 URL을 표시하도록 보기를 필터링했습니다.

이것은 내가 분석한 각 도메인에 대해 발견된 모든 URL을 보여줍니다.

이 두 도구에서 얻은 데이터를 비교한 후 Google이 Bing보다 더 많은 페이지를 발견했다는 것을 알았습니다.

반면에(이러한 결과가 테스트된 두 웹사이트 샘플 모두에서 일치한다고 가정) Google과 Bing에서 검색한 페이지가 Bing에서 색인을 생성할 가능성이 더 높다는 것을 이미 알고 있습니다.

이 결과는 사이트의 작은 샘플에 대한 것이며 전체 웹을 나타내지 않을 수 있습니다.

인기 사이트 샘플의 색인 범위

내 연구의 세 번째 측면은 ZipTie 를 사용하여 몇 가지 인기 있는 웹 사이트의 인덱싱 상태를 확인하여 Bing과 Google 간에 어떻게 다른지 확인하는 것이었습니다.

Bing이 Google보다 이러한 사이트의 색인을 생성하는 데 훨씬 더 열심이라는 것을 알게 되었습니다. 이것은 YoastSEO를 사용하는 WordPress 웹 사이트 샘플에 대한 이전 결과를 확인했습니다.

내가 얻은 데이터를 살펴보십시오.

Bing 대 Google 인덱싱 – 초기 관찰

Bing이 데이터를 기반으로 더 나은 검색 엔진이라고 말할 수 있습니까?

Bing은 더 많은 콘텐츠를 인덱싱하지만 인덱싱 통계만 보고는 승자를 단 한 명도 가리킬 수 없습니다. Bing이 Google보다 더 많은 색인을 생성하는 이유를 모르겠습니다.

내 가설은 Google이 Bing보다 "선택적"일 수 있다는 것입니다. 인덱스 선택이 문제라는 것은 신비한 일이 아닙니다.

Google 에서 색인을 생성하는 것이 점점 더 어려워지고 있습니다.

또한 검색 엔진이 다른 속도로 페이지를 크롤링 한다는 것도 알고 있습니다.

다음은 Googlebot이 페이지를 크롤링하는 빈도에 대해 John Mueller가 말한 것입니다.

여기에서 어려운 부분은 우리가 항상 동일한 빈도로 URL을 크롤링하지 않는다는 것입니다. 따라서 일부 URL은 매일 크롤링됩니다. 일부 URL은 매주 제공됩니다. 다른 URL은 두어 달에 한 번, 반년에 한 번 정도입니다. 따라서 이것은 귀하의 서버에 과부하가 걸리지 않도록 적절한 균형을 찾으려고 노력하는 것입니다. [...] 따라서 특히 사이트 쿼리와 같은 작업을 수행하면 반년에 한 번씩 크롤링되는 URL을 볼 수 있습니다. 그들은 몇 달 후에도 여전히 거기에있을 것입니다. [...] 이러한 URL이 실제로 색인이 생성되어서는 안 된다고 생각한다면 일종의 백업을 하고 다음과 같이 말할 수 있습니다. 마지막 수정 날짜가 있는 사이트맵 파일이 있어 Google이 작동을 멈추고 이중화를 시도합니다. 다른 방법보다 조금 더 빠르게 확인하십시오.

출처: 존 뮬러

또한 Bing의 문서에서 몇 가지 흥미로운 아이디어를 찾았습니다.

크롤러가 얼마나 똑똑한지 측정하기 위해 bingbot 크롤링 효율성을 측정합니다. 크롤링 효율성은 크롤링된 페이지당 새롭고 신선한 콘텐츠를 크롤링하고 발견하는 빈도입니다. 크롤링 효율성의 핵심은 콘텐츠가 추가(이전에 크롤링되지 않은 URL), 업데이트(새로운 페이지 내 컨텍스트 또는 유용한 아웃바운드 링크)된 경우에만 URL을 크롤링하는 것입니다. 변경되지 않은 복제된 콘텐츠를 크롤링할수록 크롤링 효율성 지표가 낮아집니다.

출처: Bingbot 시리즈: 크롤링 효율성 극대화"

Bing은 웹 사이트를 크롤링할 때 깊이 들어가지 않을 수 있습니다. 크롤링하면 가치가 거의 없고 KPI가 떨어질 수 있기 때문입니다.

우리는 Bing이 크롤링을 보다 효율적으로 만들기 위해 노력하고 있다는 것을 알고 있습니다. 예를 들어 Bing 은 정적 콘텐츠의 크롤링을 최적화하고 많은 웹 사이트에서 크롤링 빈도를 줄이는 패턴을 식별하려고 시도했습니다.

또한 Google과 Bing이 임의의 WordPress 웹 사이트를 색인화하는 방법의 차이점을 고려하십시오. 훨씬 작습니다. 매우 인기 있는 웹사이트의 경우 훨씬 더 중요합니다.

이것은 Bing이 알고리즘에서 사용자 행동 데이터를 사용한다는 사실을 공개적으로 인정한다는 사실에 따라 Bing 은 인기 있는 웹사이트를 인덱싱하는 데 크게 우선순위를 두는 반면 Google의 경우 인기도는 덜 중요하다고 생각하게 됩니다.

IndexNow 소개

최근 Bing은 IndexNow 프로토콜 을 채택하여 한 단계 더 나아갔습니다. IndexNow를 사용하여 Bing 및 Yandex에 새 콘텐츠 또는 업데이트된 콘텐츠에 대해 알릴 수 있습니다.

테스트를 통해 Bing은 일반적으로 IndexNow를 사용하여 페이지를 제출한 후 5초에서 5분 사이에 페이지 크롤링을 시작한다는 것을 알게 되었습니다.

IndexNow는 보다 효율적인 인터넷을 위한 이니셔티브입니다. 웹사이트 소유자는 URL이 변경되었는지 여부를 검색 엔진에 알려 검색 엔진이 이러한 URL에 대한 크롤링의 우선 순위를 정할 수 있도록 명확한 신호를 제공하여 콘텐츠가 변경되었는지 테스트하기 위한 탐색적 크롤링의 필요성을 제한합니다. 변경 […].

우리는 계속 [] 더 큰 규모로 배우고 개선하며 IndexNow를 구현하는 사이트의 크롤링 속도를 조정할 것입니다. 우리의 목표는 색인 생성, 크롤링 로드 관리 및 검색자에게 콘텐츠의 최신성 측면에서 각 채택자에게 최대한의 이점을 제공하는 것입니다.

출처: Bing 블로그, "IndexNow - 검색 엔진에서 즉시 웹 콘텐츠 색인 생성"

IndexNow를 사용하면 웹 사이트에서 콘텐츠를 더 빠르게 색인화하고 크롤링에 더 적은 리소스를 사용할 수 있습니다. 결과적으로 기업은 가장 관련성이 높은 정보에 대한 액세스를 제공하여 고객에게 더 나은 경험을 제공할 수 있습니다.

IndexNow에 URL 또는 사이트맵을 훨씬 빠르고 쉽게 제출할 수 있는 도구를 만들었습니다 .

결정적으로 IndexNow는 Bing 및 Yandex와 같은 소규모 검색 엔진이 광범위한 콘텐츠 데이터베이스에서 색인에 추가할 수 있는 기회입니다. IndexNow는 오늘날 Google을 비롯한 검색 엔진이 점점 더 많은 양의 콘텐츠를 크롤링하고 렌더링해야 하는 문제를 해결합니다.

Google이 IndexNow 프로토콜을 채택하는지 아니면 사이트 소유자가 인덱싱을 위해 페이지를 제출할 수 있도록 하는 대체 솔루션을 만드는지는 시간이 말해줄 것입니다.

페이지 크롤링 및 색인 생성 방법 최적화

인덱싱 분석에서 얻은 또 다른 정보는 검색 엔진에 대한 크롤링 및 인덱싱을 단순화하는 것이 얼마나 중요한지 입니다.

먼저 귀중한 URL이 포함된 사이트맵을 만들고 유지 관리해야 합니다. 사이트맵은 Bing과 Google이 색인을 생성해야 하는 콘텐츠를 찾는 데 유용합니다.

검색 엔진은 관련성이 높은 페이지를 선택하는 데 어려움을 겪으며 최적화된 사이트맵을 제출하지 못하면 색인을 생성해야 합니다. 사이트맵 설정 및 포함할 페이지에 대한 자세한 내용은 XML 사이트맵에 대한 궁극적인 가이드를 참조하세요.

또한 봇에 대한 올바른 지시문이 포함 된 robots.txt 파일 이 있어야 하며 색인이 생성되지 않아야 하는 페이지에 'noindex' 태그 를 올바르게 구현 해야 합니다.

마무리

Bing과 Google의 인덱싱에서 명확한 패턴을 정의하려면 더 많은 웹사이트를 조사해야 하지만 데이터 샘플에서 얻을 수 있는 몇 가지 아이디어가 있습니다.

• Bing은 Google보다 더 많은 콘텐츠를 인덱싱합니다.
• Google은 Bing보다 더 많은 콘텐츠를 발견하므로 Google이 인덱싱에 있어 더 까다롭습니다. Bing의 기본 원칙은 크롤링을 줄이고 추가 또는 업데이트된 콘텐츠에 집중하는 것입니다.
• Bing은 인기 있는 웹사이트의 인덱싱을 우선시하지만 Google의 경우 인기도는 그다지 중요하지 않습니다.

또한 콘텐츠 품질과 사이트 크롤링 및 인덱싱 최적화가 SEO의 중요한 측면이며 과소 평가하거나 무시할 수 없다는 것을 알 수 있습니다. 또한 이러한 요소는 웹이 성장하고 검색 엔진 알고리즘이 더욱 정교해짐에 따라 계속해서 중요해질 것입니다.