Falsche URLs in Bing IndexNow von CloudFlare

Treten Website-Fehler in Ihrer Google Search Console auf? Diese Fehler können Seiten mit Weiterleitungen, durch robots.txt blockierte Seiten, Soft 404s, 404s und Seiten mit geeigneten kanonischen Tags umfassen. Es kann frustrierend sein, diese Fehler zu sehen, besonders wenn Sie dachten, Sie hätten bereits Anweisungen auf den betroffenen Seiten gesetzt. Aber warum treten diese Fehler auf und was können Sie tun, um sie zu beheben?

Basierend auf einer Diskussion hier im CloudFlare-Community-Forum über das Problem hier ist ein bisschen mehr eine Übersicht und Zusammenfassung und wie man diese falschen Seiten-URLs daran hindert, in die IndexNow-Daten zu gelangen.

In diesem Artikel werden wir die möglichen Ursachen dieser Fehler untersuchen und Lösungen zu ihrer Behebung bereitstellen. Einige mögliche Ursachen können die Verwendung der „Jetzt indexieren“-Funktion von Cloudflare oder Änderungen an den Suchmaschinen-Ergebnisseiten (SERPs) von Google sein. Wir werden auch die Vorteile der Verwendung Ihrer eigenen „Jetzt indexieren“-Funktion oder eines Plugins sowie die möglichen Nachteile der Blockierung bestimmter Suchmaschinen besprechen. Indem Sie diese Tipps befolgen, können Sie dazu beitragen, dass Ihre Website fehlerfrei und vollständig für Suchmaschinen optimiert ist.

• Die „Jetzt indexieren“-Funktion von Cloudflare
• Verwenden Sie Ihre eigene „Jetzt indexieren“-Funktion oder ein Plugin
• Blockieren bestimmter Suchmaschinen
• Bleiben Sie über Änderungen an den SERPs von Google auf dem Laufenden

Was ist „IndexNow“?

IndexNow ist ein Tool, das Website-Eigentümern hilft, Suchmaschinen schnell über Aktualisierungen ihrer Inhalte zu informieren. Durch die Verwendung von IndexNow können Websitebesitzer ein Signal an Suchmaschinen senden, dass eine URL und der damit verbundene Inhalt hinzugefügt, geändert oder entfernt wurden. Dadurch können Suchmaschinen diese Änderungen schneller in ihren Suchergebnissen widerspiegeln, anstatt auf ihren regulären Crawling-Zeitplan zu warten, um die Aktualisierungen zu entdecken. Ohne IndexNow kann es mehrere Tage bis Wochen dauern, bis Suchmaschinen Änderungen am Inhalt einer Website erkennen. IndexNow hilft dabei, das Crawlen geänderter URLs zu priorisieren, wodurch die Notwendigkeit für Suchmaschinen reduziert wird, alle URLs zu crawlen, um neue Inhalte zu entdecken.

Die „Jetzt indexieren“-Funktion von Cloudflare

Die „Index Now“-Funktion von Cloudflare ist ein Tool, mit dem Benutzer URLs übermitteln können, die von Suchmaschinen, insbesondere Bing und Yandex, indexiert werden sollen. Diese Funktion kann zwar nützlich sein, um schnell neue Seiten indizieren zu lassen, kann aber auch Probleme verursachen, wenn sie nicht richtig verwendet wird.

Ein Problem mit der Funktion „Jetzt indexieren“ besteht darin, dass alle eingegebenen URLs an Bing und Yandex übermittelt werden, selbst wenn sie sich vertippt haben oder hinter Firewall-Regeln stehen. Dies kann dazu führen, dass Google Fehler auf Seiten meldet, die von anderen Suchmaschinen gecrawlt werden sollen. Wenn eine Seite beispielsweise von robots.txt blockiert wird, wird Google sie nicht crawlen, aber wenn sie von Bing oder Yandex über die Funktion „Jetzt indexieren“ zum Crawlen aufgefordert wird, kann Google dies dennoch als Fehler melden.

Um dieses Problem zu vermeiden, könnten Sie die Funktion „Jetzt indexieren“ von Ihrer eigenen Website verwenden, anstatt sich auf Cloudflare zu verlassen. Es gibt auch Plugins für CMS wie WordPress, die die Funktion „Jetzt indexieren“ unterstützen und sicherstellen können, dass nur gültige URLs zur Indexierung übermittelt werden. Dadurch können Sie Zeit und Mühe bei der Behebung von Fehlern in Ihrer Google Search Console sparen.

Es ist auch erwähnenswert, dass die Funktion „Jetzt indexieren“ zwar nützlich sein kann, um neue Seiten schnell indizieren zu lassen, aber möglicherweise nicht die effektivste Lösung für alle Websites ist. Einige Experten empfehlen die Verwendung traditionellerer Methoden, wie das Einreichen einer Sitemap oder die Verwendung interner Links, um Seiten indizieren zu lassen. Wie bei jedem Tool ist es wichtig, die Vor- und Nachteile sorgfältig abzuwägen, bevor Sie es auf Ihrer Website verwenden.

Herunterladen einer Liste von URLs, die von CloudFlare IndexNow übermittelt wurden

Es ist möglich, eine Liste von URLs herunterzuladen, die über die IndexNow-Funktion von CloudFlare mit den Bing-Webmaster-Tools an Bing übermittelt wurden. Dies kann für Websitebesitzer nützlich sein, die die URLs überprüfen möchten, die zur Indizierung eingereicht werden, und sicherstellen möchten, dass nur gültige Seiten von Bing gecrawlt werden.

Um eine Liste von URLs herunterzuladen, die von CloudFlare IndexNow von Bing Webmaster Tools übermittelt wurden, müssen Sie über ein verifiziertes Bing Webmaster-Konto verfügen und angemeldet sein. Führen Sie nach der Anmeldung die folgenden Schritte aus:

1. Navigieren Sie im Hauptmenü zum Abschnitt „Berichte & Daten“.
2. Klicken Sie auf die Option „URL-Übermittlungen“.
3. Wählen Sie auf der Registerkarte „URL-Übermittlungen“ die Option „Jetzt indexieren“.
4. Verwenden Sie die Filter auf der Seite, um den Datumsbereich für die URLs auszuwählen, die Sie herunterladen möchten.
5. Klicken Sie auf die Schaltfläche „Exportieren“ in der oberen rechten Ecke der Seite.
6. Wählen Sie das Format aus, in das Sie die Daten exportieren möchten (z. B. CSV, Excel usw.).
7. Klicken Sie auf „Exportieren“, um die Datei herunterzuladen.

Die heruntergeladene Datei enthält eine Liste aller URLs, die über CloudFlare IndexNow an Bing übermittelt wurden, sowie Informationen zu Datum und Uhrzeit der Übermittlung.

Anhand dieser Informationen können Websitebesitzer die URLs überprüfen, die zur Indizierung eingereicht werden, und alle erforderlichen Maßnahmen ergreifen, um sicherzustellen, dass nur gültige Seiten von Bing gecrawlt werden. Dies kann dazu beitragen, Fehler in den Suchmaschinenergebnissen zu vermeiden und die allgemeine Suchmaschinenoptimierung der Website zu verbessern.

Verwenden Sie Ihre eigene „IndexNow“-Funktion oder ein Plugin

Die Verwendung einer eigenen „Jetzt indexieren“-Funktion oder eines Plugins kann eine effektive Möglichkeit sein, Fehler in Ihrer Google Search Console zu vermeiden, die durch die „Jetzt indexieren“-Funktion von Cloudflare verursacht werden. Indem Sie URLs direkt von Ihrer eigenen Website oder mithilfe eines Plugins übermitteln, können Sie steuern, welche URLs zur Indexierung übermittelt werden, und sicherstellen, dass nur gültige Seiten von Suchmaschinen gecrawlt werden.

Eine Möglichkeit, Ihre eigene „Jetzt indexieren“-Funktion zu implementieren, ist die Verwendung eines Plugins, wie z. B. des WordPress-SEO-Plugins. Diese Plugins enthalten häufig Tools zum Übermitteln von Sitemaps und individuellen URLs an Suchmaschinen sowie andere Funktionen zum Optimieren Ihrer Website für Suchmaschinen. Die Verwendung eines Plugins kann Ihnen Zeit und Mühe beim manuellen Einreichen von URLs sparen und zusätzliche Vorteile bieten, z. B. indem es Ihnen hilft, andere SEO-Probleme auf Ihrer Website zu identifizieren und zu beheben.

Eine weitere Möglichkeit ist die Nutzung der „Jetzt indexieren“-Funktion direkt von Ihrer eigenen Seite aus. Die meisten Suchmaschinen, einschließlich Google, Bing und Yandex, verfügen über Tools zum manuellen Einreichen von URLs für die Indexierung. Auf diese Tools kann über Ihre Suchmaschinen-Webmasterkonten zugegriffen werden, und Sie können normalerweise einzelne URLs oder ganze Sitemaps einreichen.

Auch wenn die Verwendung Ihrer eigenen „Jetzt indexieren“-Funktion oder eines Plug-ins effektiv sein kann, um Fehler zu vermeiden, die durch die „Jetzt indexieren“-Funktion von Cloudflare verursacht werden, ist es dennoch wichtig, die Vor- und Nachteile jedes Ansatzes sorgfältig abzuwägen. Die Verwendung eines Plugins kann bequemer sein, kann aber auch zusätzliche Abhängigkeiten mit sich bringen und eine kontinuierliche Wartung erfordern. Das manuelle Einreichen von URLs über Suchmaschinen-Webmaster-Tools kann zeitaufwändiger sein, aber es kann Ihnen auch mehr Kontrolle geben und langfristig möglicherweise eine stabilere Lösung bieten.

Blockieren bestimmter Suchmaschinen

Das Blockieren bestimmter Suchmaschinen wie Bing, Seznam und Yandex in Ihrer robots.txt-Datei kann eine effektive Möglichkeit sein, Fehler in Ihrer Google Search Console zu verhindern, die durch die Funktion „Jetzt indexieren“ von Cloudflare verursacht werden, aber es ist keine empfohlene Lösung. Indem Sie diese Suchmaschinen blockieren, können Sie verhindern, dass Seiten auf Ihrer Website gecrawlt werden, die möglicherweise Fehler in Google verursachen.

Um eine Suchmaschine in Ihrer robots.txt-Datei zu blockieren, müssen Sie eine Codezeile hinzufügen, die angibt, welche Suchmaschine Sie blockieren möchten und welche Seiten oder Verzeichnisse Sie blockieren möchten. Um beispielsweise zu verhindern, dass Bing Ihre gesamte Website durchsucht, würden Sie Ihrer robots.txt-Datei die folgende Codezeile hinzufügen:

Benutzeragent: Bing Disallow: /

Sie können auch bestimmte Seiten oder Verzeichnisse blockieren, indem Sie ihre Pfade angeben, wie zum Beispiel:

User-Agent: Bing Disallow: /private/

Es ist wichtig zu beachten, dass das Blockieren einer Suchmaschine in Ihrer robots.txt-Datei nicht garantiert, dass die Suchmaschine Ihre Website nicht crawlt. Einige Suchmaschinen ignorieren möglicherweise die Anweisungen in Ihrer robots.txt-Datei oder durchsuchen Ihre Website trotz der Blockierung. Die Verwendung der robots.txt-Datei kann jedoch eine nützliche Methode sein, um Suchmaschinen zu signalisieren, welche Seiten oder Verzeichnisse Ihrer Website nicht gecrawlt werden sollen.

Das Blockieren bestimmter Suchmaschinen kann ein wirksames Mittel sein, um Fehler in Ihrer Google Search Console zu verhindern, aber es ist wichtig, die potenziellen Nachteile sorgfältig abzuwägen. Wenn Sie sich nur auf eine Suchmaschine wie Google verlassen, sind Sie möglicherweise anfälliger für Änderungen in deren Algorithmen oder Richtlinien. Es wird im Allgemeinen empfohlen, so viele Alternativen wie möglich zu haben, um mögliche Auswirkungen auf das Ranking Ihrer Website zu mindern.

Suche nach 404-Fehlern mit Screaming Frog

Die Verwendung von Screaming Frog SEO Spider ist eine nützliche Methode, um eine Website auf 404-Fehler zu überprüfen. Ein 404-Fehler tritt auf, wenn ein Benutzer versucht, auf eine Webseite zuzugreifen, die nicht existiert oder entfernt wurde. Diese Fehler können sich nachteilig auf die Benutzererfahrung einer Website und die Suchmaschinenoptimierung auswirken, da sie dazu führen können, dass Benutzer die Website verlassen, und sich negativ auf das Ranking der Website in den Suchergebnissen auswirken können.

Mit Screaming Frog können wir sicher sein, dass die Website nicht voller 404-Fehler ist.

Bleiben Sie über Änderungen an den SERPs von Google auf dem Laufenden

Über Änderungen auf den Suchmaschinen-Ergebnisseiten (SERPs) von Google auf dem Laufenden zu bleiben, ist ein wichtiger Bestandteil der Optimierung Ihrer Website für Suchmaschinen und der Vermeidung von Fehlern in Ihrer Google Search Console. Google nimmt häufig Änderungen an seinen Algorithmen und Ranking-Faktoren vor, was einen erheblichen Einfluss auf die Sichtbarkeit und das Ranking Ihrer Website in den Suchergebnissen haben kann.

Um über Änderungen an den SERPs von Google auf dem Laufenden zu bleiben, können Sie sich für Benachrichtigungen von Google Webmaster Central anmelden oder Blogs und Nachrichtenquellen der SEO-Branche folgen. Diese Quellen können Updates zu neuen Funktionen, Änderungen an Ranking-Algorithmen und andere wichtige Informationen liefern, die Ihnen helfen können, Ihre Website für Suchmaschinen zu optimieren.

Neben der Information über Änderungen an den SERPs von Google ist es auch wichtig, Ihre Website regelmäßig für Suchmaschinen zu überprüfen und zu optimieren. Dies kann das Identifizieren und Beheben von Fehlern in Ihrer Google Search Console, das Optimieren des Inhalts und der Meta-Tags Ihrer Website sowie das Erstellen hochwertiger Backlinks umfassen. Indem Sie Ihre Website regelmäßig überprüfen und optimieren, können Sie dazu beitragen, dass sie vollständig für Suchmaschinen optimiert und fehlerfrei ist.

Wenn Sie über Änderungen an den SERPs von Google auf dem Laufenden bleiben und Ihre Website regelmäßig optimieren, können Sie insgesamt Fehler in Ihrer Google Search Console vermeiden und die Sichtbarkeit und das Ranking Ihrer Website in den Suchergebnissen verbessern. Indem Sie diese Tipps befolgen, können Sie dazu beitragen, dass Ihre Website vollständig für Suchmaschinen optimiert ist und mehr Traffic und Kunden anzieht.

Fazit

Zusammenfassend können Websitefehler in Ihrer Google Search Console frustrierend sein, aber es gibt Schritte, die Sie unternehmen können, um sie zu beheben. Eine mögliche Ursache für diese Fehler ist die Verwendung der „Jetzt indexieren“-Funktion von Cloudflare, die URLs an Bing und Yandex senden kann, selbst wenn sie sich vertippt haben oder sich hinter Firewall-Regeln befinden. Um diese Fehler zu verhindern, können Sie Ihre eigene „Jetzt indexieren“-Funktion oder ein Plugin verwenden oder bestimmte Suchmaschinen in Ihrer robots.txt-Datei blockieren.

Die Verwendung Ihrer eigenen „Jetzt indexieren“-Funktion oder eines Plugins kann Ihnen mehr Kontrolle darüber geben, welche URLs zur Indexierung eingereicht werden, während das Blockieren bestimmter Suchmaschinen dazu beitragen kann, Fehler zu vermeiden, die durch die Cloudflare „Jetzt indexieren“-Funktion verursacht werden. Es ist jedoch wichtig, die Vor- und Nachteile jedes Ansatzes sowie die möglichen Nachteile, sich auf nur eine Suchmaschine zu verlassen, sorgfältig abzuwägen.

Wenn Sie über Änderungen an den Suchmaschinen-Ergebnisseiten (SERPs) von Google auf dem Laufenden bleiben und Ihre Website regelmäßig optimieren, können Sie auch Fehler vermeiden und die Sichtbarkeit und das Ranking Ihrer Website in den Suchergebnissen verbessern. Indem Sie diese Tipps befolgen, können Sie dazu beitragen, dass Ihre Website vollständig für Suchmaschinen optimiert und fehlerfrei ist.