Suchmaschinen können nicht jede Seite im Web entdecken und indizieren – sie müssen diesbezüglich Entscheidungen treffen. Und obwohl alle Suchmaschinen denselben Zweck erfüllen, verwenden sie unterschiedliche Kriterien für die Indizierung von Seiten.

Abgesehen davon ist es im Allgemeinen gut, wenn eine Suchmaschine so viele wertvolle Inhalte wie möglich crawlen und indexieren kann – es erhöht die Wahrscheinlichkeit, dass sie den Benutzern zeigt, wonach sie suchen.

Mich hat interessiert, welche Suchmaschine – Bing oder Google – generell mehr Inhalte indexiert.

Dieser Artikel beschreibt die verschiedenen Aspekte meiner Forschung, und obwohl ich mehr Daten benötigen würde, um endgültige Schlussfolgerungen zu ziehen, habe ich es dennoch geschafft, viele einzigartige und wertvolle Erkenntnisse zu sammeln.

Hier ist, was ich darüber herausgefunden habe, wie Bing und Google Webseiten indizieren.

Analyse von Indizierungsdaten: Methodik und Ergebnisse

Indexabdeckung einer zufälligen Stichprobe von WordPress-Sites

Der erste Schritt meiner Recherche bestand darin, eine Stichprobe von Seiten zu sammeln, um ihre Indizierungsstatistiken zu überprüfen.

Ich entschied, dass ein guter Ausgangspunkt darin bestehen würde, eine Stichprobe von Websites zu verwenden, die das Yoast SEO WordPress-Plugin verwenden. Es gab einen praktischen Grund für die Wahl dieses Plugins: Es unterteilt Sitemaps in Abschnitte, wodurch ich analysieren könnte, welche Abschnitte am meisten indiziert sind.

Ich habe eine Liste von Websites gefunden, die das Yoast SEO-Plugin auf builtwith.com verwenden , einer Website, die über Websites berichtet, die bestimmte Technologien oder Tools verwenden. Ich habe eine Zufallsstichprobe von 200 Websites aus einer Liste von Websites ausgewählt, die Yoast SEO verwenden.

Dann habe ich die Indizierungsstatistiken dieser Websites mit ZipTie.dev überprüft , und die dabei herausgekommenen Daten sind sehr interessant.

Bing indexierte mehr Webseiten als Google.

Werfen Sie einen Blick auf die folgenden Diagramme, die die Indizierungsstatistiken für bestimmte Sitemap-Kategorien zeigen:

Die Indexabdeckung ist für Bing und Google für die Kategorien Story und Presse gleich. Darüber hinaus hat Google mehr Inhalte in Reiseführern und Standorten indiziert. In allen übrigen Sitemap-Kategorien übertrifft die Indexierung von Bing jedoch die von Google – einschließlich wichtiger Kategorien wie Beiträge, Produkte und Bilder.

Aber bedeutet das, dass Bing auch mehr Seiten crawlen kann als Google? Oder crawlen sie ähnlich viele Inhalte, haben aber unterschiedliche Präferenzen bei der Indexierung?

Crawling-Daten für eine Auswahl unserer Kunden

Um meine Ergebnisse zu erweitern, habe ich die Daten einiger unserer Kunden sowohl in den Bing Webmaster Tools als auch in der Google Search Console überprüft.  

Diese Tools zeigen die Seiten an, die der jeweiligen Suchmaschine für eine bestimmte Domain bekannt sind.

In der Google Search Console habe ich mir alle bekannten Seiten angesehen, die im Indexabdeckungsbericht erscheinen, und die Anzahl der URLs auf alle vier Status überprüft (Fehler, Gültig, Gültig mit Warnungen und Ausgeschlossen).

In Bing Webmaster Tools habe ich im Abschnitt Site Explorer, der Indizierungsdaten für die Seiten einer bestimmten Domäne enthält, die Ansicht so gefiltert, dass alle URLs angezeigt werden.

Dies zeigte mir alle entdeckten URLs für jede von mir analysierte Domain.

Nachdem ich die Daten, die ich in diesen beiden Tools erhalten hatte, verglichen hatte, bemerkte ich, dass Google mehr Seiten entdeckte als Bing.

Auf der anderen Seite (unter der Annahme, dass diese Ergebnisse auf beiden getesteten Website-Beispielen konsistent sind) wissen wir bereits, dass die von Google und Bing entdeckten Seiten mit größerer Wahrscheinlichkeit von Bing indexiert werden.

Beachten Sie, dass diese Ergebnisse nur für eine kleine Stichprobe von Websites gelten und möglicherweise nicht das gesamte Web darstellen.

Indexabdeckung einer Stichprobe beliebter Websites

Der dritte Aspekt meiner Recherche bestand darin, den Indizierungsstatus einiger beliebter Websites mit ZipTie zu überprüfen, um zu sehen, wie er zwischen Bing und Google variiert.

Ich habe gelernt, dass Bing viel eifriger darauf bedacht ist, diese Seiten zu indizieren als Google. Dies bestätigte meine früheren Ergebnisse für die Stichprobe von WordPress-Websites mit YoastSEO.

Schauen Sie sich die Daten an, die ich erhalten habe:

Bing vs. Google Indizierung – erste Beobachtungen

Können wir anhand der Daten sagen, dass Bing eine bessere Suchmaschine ist?

Obwohl Bing mehr Inhalte indiziert, können wir anhand der Indizierungsstatistiken keinen einzelnen Gewinner hervorheben. Wir wissen nicht, warum Bing mehr indiziert als Google.

Meine Hypothese ist, dass Google „wählerischer“ sein könnte als Bing. Es ist kein Geheimnis, dass die Indexauswahl eine Sache ist.

Wir sagen es schon seit Jahren – von Google indexiert zu werden wird immer schwieriger.

Wir wissen auch, dass Suchmaschinen Seiten unterschiedlich schnell crawlen.

Hier ist, was John Mueller darüber sagte, wie oft der Googlebot Seiten crawlt:

Ich denke, der schwierige Teil hier ist, dass wir URLs nicht immer mit der gleichen Häufigkeit crawlen. Einige URLs werden wir also täglich crawlen. Einige URLs vielleicht wöchentlich. Andere URLs alle paar Monate, vielleicht sogar halbjährlich oder so. Deshalb versuchen wir, die richtige Balance zu finden, damit wir Ihren Server nicht überlasten. […] Also, insbesondere wenn Sie Dinge wie Seitenabfragen machen, besteht die Möglichkeit, dass Sie diese URLs sehen, die etwa einmal im halben Jahr gecrawlt werden. Sie werden auch nach ein paar Monaten noch da sein. […] wenn Sie denken, dass diese URLs wirklich überhaupt nicht indexiert werden sollten, dann können Sie das vielleicht irgendwie untermauern und sagen, na ja, hier ist eine Sitemap-Datei mit dem letzten Änderungsdatum, damit Google loslegt und versucht, zu verdoppeln. Überprüfen Sie diese etwas schneller als sonst.

Quelle: Johannes Müller

Ich habe auch einige interessante Ideen in Bings Dokumentation gefunden:

Um zu messen, wie intelligent unser Crawler ist, messen wir die Bingbot-Crawling-Effizienz. Die Crawling-Effizienz gibt an, wie oft wir crawlen und neue und frische Inhalte pro gecrawlter Seite entdecken. Unser Crawl-Effizienz-Nordstar besteht darin, eine URL nur dann zu crawlen, wenn der Inhalt hinzugefügt (URL wurde zuvor nicht gecrawlt) oder aktualisiert wurde (frischer On-Page-Kontext oder nützliche ausgehende Links). Je mehr duplizierte, unveränderte Inhalte gecrawlt werden, desto niedriger ist unsere Crawl-Effizienz-Metrik.

Quelle: Bingbot Series: Maximizing Crawl Efficiency“

Bing möchte beim Crawlen von Websites möglicherweise nicht in die Tiefe gehen, da dies wenig Wert bieten und dazu führen könnte, dass ihre KPIs sinken.

Wir wissen, dass Bing daran gearbeitet hat, das Crawlen effizienter zu machen. So versuchte Bing beispielsweise, das Crawlen statischer Inhalte zu optimieren und Muster zu identifizieren, die die Crawling-Frequenz über viele Websites hinweg reduzieren würden.

Bedenken Sie auch die Unterschiede, wie Google und Bing die zufälligen WordPress-Websites indiziert haben – sie waren viel kleiner. Bei sehr populären Websites sind sie viel bedeutender.

Dies führt mich zu der Annahme, dass Bing im Einklang mit der Tatsache, dass Bing offen zugibt, Daten zum Benutzerverhalten in seinen Algorithmen zu verwenden, der Indexierung beliebter Websites große Priorität einräumt, während für Google die Popularität weniger ein Faktor ist.

Einführung von IndexNow

Kürzlich ging Bing noch einen Schritt weiter und übernahm das IndexNow-Protokoll. Sie können IndexNow verwenden, um Bing und Yandex über neue oder aktualisierte Inhalte zu informieren.

Durch unsere Tests haben wir herausgefunden, dass Bing normalerweise zwischen 5 Sekunden und 5 Minuten nach der Übermittlung einer Seite mit IndexNow mit dem Crawlen beginnt.

IndexNow ist eine Initiative für ein effizienteres Internet: Indem sie Suchmaschinen mitteilen, ob eine URL geändert wurde, geben Websitebesitzer ein klares Signal, das Suchmaschinen hilft, das Crawlen für diese URLs zu priorisieren, wodurch die Notwendigkeit für exploratives Crawling zum Testen der Inhalte begrenzt wird geändert […].

Wir werden weiter lernen und uns in größerem Umfang verbessern und die Crawling-Raten für Websites anpassen, die IndexNow implementieren. Unser Ziel ist es, jedem Anwender den größtmöglichen Nutzen in Bezug auf Indexierung, Crawl-Load-Management und Aktualität der Inhalte für die Suchenden zu bieten.

Quelle: Bing Blog, „IndexNow – Indexieren Sie Ihre Webinhalte sofort in Suchmaschinen“

IndexNow ermöglicht es Websites, ihre Inhalte schneller zu indizieren und weniger Ressourcen für das Crawlen zu verbrauchen. Infolgedessen können Unternehmen ihren Kunden ein besseres Erlebnis bieten, indem sie ihnen Zugang zu den relevantesten Informationen gewähren.

Wir haben ein Tool entwickelt, mit dem Sie URLs oder Sitemaps noch schneller und einfacher an IndexNow übermitteln können.

Entscheidend ist, dass IndexNow kleineren Suchmaschinen wie Bing und Yandex die Möglichkeit bietet, ihre Indizes aus einer umfangreichen Inhaltsdatenbank hinzuzufügen. IndexNow befasst sich mit dem Problem, mit dem Suchmaschinen, einschließlich Google, heute zu kämpfen haben – immer größere Mengen an Inhalten crawlen und rendern zu müssen.

Die Zeit wird zeigen, ob Google das IndexNow-Protokoll übernimmt oder eine alternative Lösung entwickelt, die es Websitebesitzern ermöglicht, Seiten zur Indexierung einzureichen.

Optimierung, wie Seiten gecrawlt und indexiert werden

Eine weitere Erkenntnis aus meiner Indizierungsanalyse ist, wie wichtig es ist, das Crawlen und Indizieren für Suchmaschinen zu vereinfachen.

Zunächst müssen Sie Sitemaps erstellen und pflegen, die Ihre wertvollen URLs enthalten. Sitemaps sind hilfreich für Bing und Google, um die Inhalte zu finden, die sie indexieren sollten.

Suchmaschinen werden Schwierigkeiten haben, zu erkennen, welche Seiten relevant sind und indiziert werden sollten, wenn Sie keine optimierte Sitemap einreichen. Weitere Einzelheiten zum Einrichten einer Sitemap und zu den einzuschließenden Seiten finden Sie in unserem Ultimativen Leitfaden zu XML-Sitemaps.

Außerdem benötigen Sie eine robots.txt-Datei mit korrekten Anweisungen für Bots und korrekt implementierten „noindex“-Tags auf Seiten, die nicht indexiert werden sollen.

Einpacken

Um ein klares Muster in der Indizierung von Bing und Google zu definieren, müsste ich viele weitere Websites untersuchen, aber es gibt bestimmte Ideen, die wir aus meinen Datenproben gewinnen können:

• Bing indiziert mehr Inhalte als Google.
• Google entdeckt mehr Inhalte als Bing, was darauf hindeutet, dass Google bei der Indexierung wählerischer ist. Das Leitprinzip für Bing ist, weniger zu crawlen und sich auf die hinzugefügten oder aktualisierten Inhalte zu konzentrieren.
• Bing priorisiert die Indizierung beliebter Websites, während die Popularität für Google weniger ein Faktor ist.

Wir können auch sehen, dass die Qualität der Inhalte und die Optimierung des Crawlings und der Indexierung Ihrer Website wichtige Aspekte der SEO sind und nicht unterschätzt oder vernachlässigt werden dürfen. Darüber hinaus werden diese Faktoren wahrscheinlich weiterhin von entscheidender Bedeutung sein, da das Web wächst und die Suchmaschinenalgorithmen immer ausgefeilter werden.