Top Insights aus „Die Grenzen von Suchmaschinen und wie wir sie überwinden können“

Am 30. November 2021 setzten sich Bartosz Goralewicz und Tomasz Rudzki mit Fabrice Ca nel, dem Principal Program Manager bei Bing, zusammen, um die Herausforderungen zu besprechen, vor denen Suchmaschinen derzeit stehen – wie man das Web, das ständig schwerer und größer wird, weiterhin crawlen und indexieren kann ?

Wenn Sie wissen möchten, wie das ganze Gespräch verlaufen ist, können Sie sich das Webinar hier ansehen.

In diesem Artikel möchte ich die spannendsten Insights und Ankündigungen aus dem Webinar vorstellen.

IndexNow hilft bei der Optimierung des Crawl-Budgets

Das Gespräch begann mit einem derzeit beliebten Thema in der SEO-Branche – welches Problem versucht IndexNow zu lösen?

Suchmaschinen haben sehr wenig Ahnung, was im Internet vor sich geht. Sie müssen also die Seiten weiter crawlen, um festzustellen, ob es aktualisierte oder neue Inhalte gibt. Infolgedessen verschwenden sie möglicherweise das Crawling -Budget für Seiten mit geringer Qualität oder Seiten, die nicht aktualisiert wurden.

Wir glauben, dass es gut für die Industrie ist, dieses Modell zu ändern. Es wird Ihnen helfen, die neuesten Inhalte in Suchmaschinen zu indizieren, und Sie können uns helfen, das Crawling zu minimieren, was für die gesamte Branche gut ist.

Quelle: Fabrice Canel

Suchmaschinen wissen nicht, wann Sie Ihren nächsten Blogartikel veröffentlichen werden – aber Sie wissen es! Sie über neue Inhalte auf Ihrer Website zu benachrichtigen, bringt gegenseitige Vorteile – Ihre Inhalte können schneller in SERP erscheinen, und Suchmaschinen können die Menge an Ressourcen reduzieren, die sie zum Crawlen und Indexieren einer Website benötigen.

Die Lösung für das Ping der Suchmaschinen ist keine neue Idee. Vor einigen Jahren konnten Webmaster URLs an Suchmaschinen übermitteln. Das Problem war, dass es einfach war, Suchmaschinen mit unnötigen Einsendungen zu spammen, also musste es verbessert werden.

Im Vergleich zur alten Lösung mit einem einfachen Ping, der an die Suchmaschinen gesendet wird, fügt IndexNow eine Vertrauensebene hinzu. Sie müssen einen API-Schlüssel generieren und auf Ihrer Website hosten. Auf diese Weise können Suchmaschinen überprüfen, ob die übermittelte URL Ihnen gehört, wodurch das Rauschen in den resultierenden Daten minimiert wird.

Sitemaps reichen nicht aus

Wenn Sie sich fragen, warum gut optimierte Sitemaps nicht ausreichen, um das Crawling zu unterstützen, und warum wir IndexNow trotzdem brauchen, dann lautet die Antwort: Sitemaps reichen nicht!

Im Allgemeinen wird Bing versuchen, Sitemaps mehr oder weniger einmal am Tag herunterzuladen. […] Aber das Internet ist mehr als einmal am Tag. Sie wollen nicht eines Tages warten, wenn Sie eine Pressemitteilung erhalten. Vielleicht müssen Sie die Suchmaschinen sofort benachrichtigen.

Quelle: Fabrice Canel

IndexNow hilft Ihnen also, Ihre Inhalte an Suchmaschinen zu senden, wenn es zeitkritisch ist. Dies ist besonders wichtig für Nachrichten-Websites, aber es ist besonders wichtig für jede Website, neue Inhalte so schnell wie möglich indiziert zu bekommen.

Außerdem eignen sich Sitemaps hervorragend zum Auflisten der URLs, aber nicht so sehr zum Aktualisieren des Inhalts. Das lastmod-Tag wird oft missbraucht und falsch eingerichtet.

IndexNow ist weniger laut als Sitemaps. Fabrice erklärte, dass die von IndexNow kommenden Daten sehr vielversprechend sind und dass sie die Bots zu qualitativ hochwertigen Inhalten führen und das Crawling minimieren.

Eines der Dinge, an die Sie denken sollten, ist, dass Bing möglicherweise das Vertrauen verliert und nicht mehr kommt, um die Seite zu crawlen, nachdem Sie IndexNow verwendet haben, wenn Sie Ihre URL übermitteln, obwohl sie sich nicht geändert hat.

All dies bedeutet nicht, dass Sie aufhören sollten, XML-Sitemaps zu verwenden. Fabrice wies darauf hin, dass Sitemaps besonders gut funktionieren, wenn sie mit IndexNow kombiniert werden – es ist nicht so, dass Sie das eine oder andere verwenden sollten.

Cloudflare unterstützt jetzt IndexNow

Während des Webinars gab Fabrice bekannt, dass Cloudflare jetzt IndexNow unterstützt.

Cloudflare hat eine Funktion namens Crawler Hints, die Suchmaschinen Daten über Änderungen in Ihren Inhalten liefert. Und jetzt unterstützen Crawler Hints IndexNow und können Suchmaschinen über dieses neue Protokoll direkt über neue, aktualisierte oder gelöschte Inhalte informieren.

Mehr als 60.000 Websites haben sich bereits für die Fähigkeit von Cloudflare entschieden, IndexNow zu unterstützen. Das bedeutet Milliarden von URLs pro Tag, die uns mitteilen, was sich im Internet geändert hat. […] Es bringt Vorteile für Bing und andere Suchmaschinen sowie Website-Besitzer.

Quelle: Fabrice Canel

Alles, was Sie tun müssen, ist Crawler-Hinweise auf Ihrer Website mit einem einfachen Klick zu aktivieren, und Cloudflare kümmert sich um den Rest! Weitere Informationen zum Aktivieren von Crawler-Hinweisen finden Sie hier.

IndexNow gibt keinen Ranking-Boost

Bartosz fragte Fabrice nach der Tatsache, dass viele Domains, die begonnen haben, IndexNow zu verwenden, jetzt anscheinend einen erhöhten Traffic von Bing erhalten. Aber nein, IndexNow verschafft Ihnen keinen Ranking-Boost.

Wir priorisieren nicht basierend auf IndexNow. Es ist kein Ranking-Signal. Die Aktivierung von IndexNow hilft Ihnen nicht dabei, einen höheren Rang zu erreichen.

Quelle: Fabrice Canel

Bei der Menge an Internetinhalten, die kontinuierlich erstellt werden, gilt: Je früher Sie indiziert werden, desto größer sind Ihre Chancen, in den SERPs weiter oben zu erscheinen.

Dies ist besonders wichtig für Websites mit Nachrichtenbereichen. Es ist entscheidend, so schnell wie möglich indexiert zu werden. Wenn Suchmaschinen mit dem Crawlen und Indexieren Ihrer Inhalte zu spät kommen, könnten Sie hinter Ihrer Konkurrenz zurückfallen.

Aus diesem Grund können Websites, die IndexNow verwenden, in den SERPs besser abschneiden. Webmaster wissen am besten, wenn sich ihr Inhalt geändert hat, und können Suchmaschinen benachrichtigen, um die Seite schnell zu crawlen und zu indizieren.

IndexNow setzt Ressourcen frei, die für das Rendern benötigt werden

Wie Fabrice im Webinar erwähnte, ist das Rendering für Suchmaschinen von entscheidender Bedeutung, um den Inhalt zu verstehen. Aus diesem Grund ist Bing bestrebt, so viele Inhalte wie möglich zu rendern.

Indem Sie IndexNow übernehmen, können Sie Suchmaschinen dabei helfen, Ressourcen für das Crawlen zusätzlicher Inhalte wie JavaScript freizugeben, die zum Rendern der Seite erforderlich sind.

Außerdem hängt die Darstellung der Website von ihrer Größe ab. Suchmaschinen können mit dem Rendering gut abschneiden, wenn Sie nur wenige Seiten haben. Wenn Sie jedoch eine große E-Commerce-Website mit Millionen von Seiten voller JavaScript-reicher Inhalte sind, reichen deren Ressourcen möglicherweise nicht aus, um alles zu rendern. In diesem Fall ist es entscheidend, die Suchmaschinen-Bots darüber zu informieren, was sie crawlen sollen, und ihnen zu helfen, das Crawl-Budget zu sparen.

In ein paar Jahren wollen wir alle Inhalte im Internet darstellen können. Seien Sie jedoch vernünftig bei der Erstellung Ihrer Websites – wenn Kunden auf etwas auf einer Seite klicken müssen, um auf Inhalte zuzugreifen, müssen Suchmaschinen dasselbe tun, aber sie sind noch nicht schlauer als Kunden. Stellen Sie sicher, dass alle Inhalte einer Seite sofort darauf angezeigt werden, und blenden Sie sie nicht aus.

Quelle: Fabrice Canel

Zukunft der Zusammenarbeit mit Suchmaschinen

In der Vergangenheit haben Suchmaschinen bei wichtigen Initiativen wie schema.org oder dem robots.txt-Protokoll zusammengearbeitet.

Während des Webinars wurde Fabrice nach möglichen Bereichen gefragt, in denen eine solche Zusammenarbeit in naher Zukunft stattfinden könnte. Er wies auf das Problem der hreflang-Tags hin und wie sie für die Generierung von Billionen redundanter URLs verantwortlich sind, die für Suchmaschinen und das Internet insgesamt Abfall erzeugen.

Fabrice sagte, es sei sein Wunsch, mit anderen Suchmaschinen zusammenzuarbeiten, um neue Wege zur Ausrichtung auf internationale Märkte zu finden, die es Suchmaschinen auch ermöglichen würden, Signale auf einer einzigen Seite für eine Sprache zu konsolidieren. Dies müsste eine Lösung für Website-Eigentümer beinhalten, um Benutzer derselben Sprache zu Inhalten zu leiten, die auf bestimmte Märkte ausgerichtet sind (z. B. würden spanischsprachige Personen in Argentinien und Uruguay auf derselben Seite landen und dann zu Inhalten geleitet werden, die für Argentinien und Uruguay spezifisch sind). .

Fabrice fasste zusammen, dass es in Zukunft nicht mehr notwendig sein sollte, Ihre Website für bestimmte Suchmaschinen zu optimieren. Stattdessen sollten Suchmaschinen gemeinsamen Protokollen folgen und Lösungen entwickeln, um die aktuellen Einschränkungen zu verbessern und der Branche zugute zu kommen.