Bing vs. Google：どの検索エンジンがより多くのコンテンツをインデックスに登録しますか？

公開: 2022-03-15

検索エンジンは、ウェブ上のすべてのページを検出してインデックスを作成することはできません。その点で選択を行う必要があります。また、すべての検索エンジンは同じ目的を果たしますが、インデックスを作成するページに異なる基準を使用します。

そうは言っても、検索エンジンが可能な限り多くの価値のあるコンテンツをクロールしてインデックスに登録できれば、それは一般的に良いことです。それは、ユーザーが探しているものを表示する可能性を高めます。

私は、BingとGoogleのどちらの検索エンジンが一般的により多くのコンテンツをインデックスに登録するかについて興味がありました。

この記事では、私の研究のさまざまな側面について説明します。明確な結論を引き出すにはさらに多くのデータが必要ですが、それでも多くのユニークで価値のある洞察を集めることができました。

これが、BingとGoogleがWebページをインデックスに登録する方法について私が発見したことです。

内容を隠す

1インデックスデータの分析：方法論と結果

1.1WordPressサイトのランダムサンプルのインデックスカバレッジ

1.2クライアントのサンプルのクロールデータ

1.3人気サイトのサンプルのインデックスカバレッジ

2 BingとGoogleのインデックス作成–最初の観察

2.1IndexNowの紹介

2.2ページのクロールとインデックス作成方法の最適化

3まとめ

インデックスデータの分析：方法論と結果

WordPressサイトのランダムサンプルのインデックスカバレッジ

私の調査の最初のステップは、ページのサンプルを収集して、インデックス作成の統計を確認することでした。

私は、 YoastSEOWordPressプラグインを使用してWebサイトのサンプルを使用することから始めるのがよいと判断しました。このプラグインを選択した背景には実際的な理由がありました。サイトマップをセクションで分割しているため、どのセクションが最もインデックスに登録されているかを分析できます。

与えられたテクノロジーやツールを使用しているウェブサイトについて報告しているサイトであるbuiltwith.comで、YoastSEOプラグインを使用しているウェブサイトのリストを見つけました。 YoastSEOを使用しているサイトのリストから200のWebサイトのランダムなサンプルを選択しました。

次に、 ZipTie.devを使用してこれらのWebサイトのインデックス統計を確認しましたが、得られたデータは非常に興味深いものです。

Bingは、Googleよりも多くのWebページをインデックスに登録しました。

特定のサイトマップカテゴリのインデックス統計を示す以下のグラフを見てください。

BingとGoogleのさまざまなサイトマップカテゴリのインデックスを比較したグラフ

インデックスの対象範囲は、ストーリーとプレスのカテゴリでBingとGoogleで同じです。さらに、Googleはガイドと場所でより多くのコンテンツをインデックスに登録しました。ただし、残りのすべてのサイトマップカテゴリでは、投稿、製品、画像などの重要なカテゴリを含め、BingのインデックスはGoogleのインデックスを上回っています。

しかし、これは、BingがGoogleよりも多くのページをクロールできることを意味しますか？または、同じ量のコンテンツをクロールしますが、インデックス作成に関しては異なる設定がありますか？

クライアントのサンプルのクロールデータ

調査結果を拡張するために、 BingWebmasterToolsとGoogleSearchConsoleの両方でいくつかのクライアントのデータを確認しました。

これらのツールは、それぞれの検索エンジンが特定のドメインについて知っているページを表示します。

Google Search Consoleで、インデックスカバレッジレポートに表示されるすべての既知のページを確認し、4つのステータス（エラー、有効、警告付きで有効、除外）のURLの数を確認しました。

Bing Webmaster Toolsの[サイトエクスプローラー]セクションで、特定のドメインのページのインデックスデータが含まれているので、ビューをフィルター処理してすべてのURLを表示しました。

これにより、分析した各ドメインで検出されたすべてのURLが表示されました。

これらのツールの両方で取得したデータを比較した後、 GoogleがBingよりも多くのページを検出したことに気付きました。

一方（これらの調査結果がテストされた両方のWebサイトのサンプルで一貫していると仮定すると）、GoogleとBingによって検出されたページがBingによってインデックスに登録される可能性が高いことはすでにわかっています。

これらの結果はサイトのごく一部のサンプルのみを対象としており、Web全体を表すものではない可能性があることに注意してください。

BingとGoogleのインデックス作成–最初の観察

データに基づくと、Bingがより優れた検索エンジンであることがわかりますか？

Bingはより多くのコンテンツをインデックスに登録しますが、インデックス作成の統計を見るだけでは、1人の勝者を指摘することはできません。 BingがGoogleよりも多くのインデックスを作成している理由はわかりません。

私の仮説は、 GoogleはBingよりも「ピッキー」かもしれないというものです。 インデックスの選択が重要であることは不思議ではありません。

私たちは何年もの間それを言ってきました–グーグルによって索引付けされることはますます難しくなっています。

また、検索エンジンがさまざまな速度でページをクロールすることもわかっています。

Googlebotがページをクロールする頻度についてJohnMuellerが言ったことは次のとおりです。

ここで難しいのは、常に同じ頻度でURLをクロールしないことだと思います。したがって、いくつかのURLは毎日クロールします。一部のURLはおそらく毎週です。他のURLは、2、3か月ごと、場合によっては半年に1回程度です。したがって、これは、サーバーに過負荷がかからないように、適切なバランスを見つけようとするものです。 […]したがって、特にサイトクエリなどを実行すると、半年に1回のようにクロールされるURLが表示される可能性があります。彼らは数ヶ月後もそこにいるでしょう。 […]これらのURLを実際にインデックスに登録するべきではないと思われる場合は、それをバックアップして、Googleが停止して二重化を試みるように、最終変更日が記載されたサイトマップファイルを作成できます。これらを他の方法よりも少し速くチェックしてください。
出典：ジョン・ミューラー

また、Bingのドキュメントでいくつかの興味深いアイデアを見つけました。

クローラーのスマートさを測定するために、bingbotのクロール効率を測定します。クロール効率とは、クロールして、クロールされたページごとに新しくて新鮮なコンテンツを検出する頻度です。私たちのクロール効率のノーススターは、コンテンツが追加されたとき（URLは以前にクロールされなかった）、更新されたとき（新しいページ上のコンテキストまたは有用なアウトバウンドリンク）にのみURLをクロールすることです。複製された変更されていないコンテンツをクロールするほど、クロール効率の指標は低くなります。
出典： Bingbotシリーズ：クロール効率の最大化」

Bingは、Webサイトをクロールするときに深く入りたくない場合があります。そうすると、ほとんど価値がなく、KPIが低下する可能性があるためです。

Bingがクロールをより効率的にするために取り組んでいることを私たちは知っています。たとえば、Bingは静的コンテンツのクロールを最適化し、多くのWebサイトでクロールの頻度を減らすパターンを特定しようとしました。

また、GoogleとBingがランダムなWordPressWebサイトにインデックスを付ける方法の違いを考慮してください-それらははるかに小さかったです。非常に人気のあるウェブサイトの場合、それらははるかに重要です。

これにより、Bingがアルゴリズムでユーザーの行動データを使用することを公然と認めているという事実に沿って、 Bingは人気のあるWebサイトのインデックス作成を非常に優先しますが、Googleの場合、人気はそれほど重要ではないと思います。

IndexNowのご紹介

最近、BingはIndexNowプロトコルを採用することでさらに一歩進んだ。 IndexNowを使用して、新しいコンテンツまたは更新されたコンテンツについてBingとYandexに通知できます。

テストの結果、 Bingは通常、IndexNowを使用して送信されてから5秒から5分の間にページのクロールを開始することがわかりました。

IndexNowは、より効率的なインターネットのイニシアチブです。URLが変更されたかどうかを検索エンジンに通知することで、ウェブサイトの所有者は、検索エンジンがこれらのURLのクロールに優先順位を付けるのに役立つ明確なシグナルを提供し、コンテンツが変更されたかどうかをテストするための探索的クロールの必要性を制限します。かわった […]。
今後も[a]大規模な学習と改善を行い、IndexNowを実装しているサイトのクロール速度を調整していきます。私たちの目標は、インデックス作成、クロール負荷管理、検索者へのコンテンツの鮮度の点で、各採用者に最大のメリットを提供することです。
出典： Bing Blog、「IndexNow-検索エンジンでWebコンテンツに即座にインデックスを付ける」

IndexNowを使用すると、Webサイトはコンテンツのインデックスをより速く取得し、クロールに使用するリソースを減らすことができます。 その結果、企業は、最も関連性の高い情報へのアクセスを顧客に提供することで、顧客により良いエクスペリエンスを提供できます。

URLまたはサイトマップをIndexNowにさらに迅速かつ簡単に送信するのに役立つツールを作成しました。

重要なのは、IndexNowは、BingやYandexなどの小規模な検索エンジンがコンテンツの広範なデータベースからインデックスに追加する機会です。 IndexNowは、Googleを含む検索エンジンが今日苦労している問題、つまり増え続けるコンテンツをクロールしてレンダリングする必要があるという問題に対処します。

GoogleがIndexNowプロトコルを採用するのか、サイト所有者がインデックス作成のためにページを送信できるようにする代替ソリューションを作成するのかは、時が経てばわかります。

ページのクロールとインデックス作成の方法を最適化する

私のインデックス分析からのもう1つのポイントは、検索エンジンのクロールとインデックス作成を簡素化することがいかに重要かということです。

まず、貴重なURLを含むサイトマップを作成して維持する必要があります。 サイトマップは、BingとGoogleがインデックスを作成する必要のあるコンテンツを見つけるのに役立ちます。

検索エンジンは、どのページが関連しているかを見つけるのに苦労し、最適化されたサイトマップを送信できない場合はインデックスを作成する必要があります。サイトマップの設定と含めるページの詳細については、 XMLサイトマップの究極のガイドをご覧ください。

さらに、ボットの正しいディレクティブを含むrobots.txtファイルと、インデックス付けされるべきではないページに適切に実装された「noindex」タグが必要です。

まとめ

BingとGoogleのインデックス作成で明確なパターンを定義するには、さらに多くのWebサイトを検査する必要がありますが、データのサンプルから得られる特定のアイデアがあります。

Bingは、Googleよりも多くのコンテンツをインデックスに登録します。
GoogleはBingよりも多くのコンテンツを検出しており、Googleがインデックス作成に優れていることを示唆しています。 Bingの基本原則は、クロールを減らし、追加または更新されたコンテンツに焦点を当てることです。
Bingは人気のあるウェブサイトのインデックス作成を優先しますが、人気はGoogleにとってそれほど重要ではありません。

また、コンテンツの品質とサイトのクロールとインデックス作成の最適化はSEOの重要な側面であり、過小評価したり無視したりすることはできません。 さらに、これらの要素は、Webが成長し、検索エンジンアルゴリズムがより高度になるにつれて、引き続き重要になる可能性があります。