Google vergisst URLs in der Indizierungswarteschlange

Indizierungsfehler sind keine Seltenheit. Google hat seit geraumer Zeit Probleme mit der Indexierung. Sie können jedem ohne Verschulden des Eigentümers der Website passieren, unabhängig von der Größe der Website. Erst letztes Jahr gab es einen Fall von Indizierungsfehlern im Zusammenhang mit der mobilen Indizierung und Kanonisierung.  

Vor ein paar Monaten erlebte ich persönlich einen Indizierungsfehler, als sich herausstellte, dass mein Ultimativer Leitfaden zur Indizierung von SEO nicht indiziert war.

Nach gründlicher Recherche fand ich heraus, dass Google ohne ersichtlichen Grund die falsche Version der URL indexiert hat. Mehr über diesen speziellen Fehler erfahren Sie in meinem Artikel Mein ultimativer Leitfaden zur Indexierung von SEO ist nicht indiziert.

Anfang dieses Jahres fand ich einen weiteren Indizierungsfehler, der darauf hinweist, dass Google möglicherweise den Überblick über die URLs in der Indizierungswarteschlange verliert.  

Lassen Sie es uns Schritt für Schritt aufschlüsseln.

Vergessene URL in der Indizierungswarteschlange von Google

Am 6. Oktober haben wir einen Artikel veröffentlicht: Rendering SEO: How Google Digests Your Content. Der Artikel war eine Abschrift eines Gesprächs zwischen Bartosz Goralewicz von Onely, Martin Splitt von Google und Jason Barnard von Kalicube.

Leider hat der Artikel in den drei Wochen seit dem Veröffentlichungsdatum keinen Traffic von Google gebracht.

Ich fand es seltsam – ein weiterer interessanter Artikel, der nicht von Google indexiert wurde? Leidet Google unter einem weiteren Indizierungsfehler?

Da ich danach strebe, die Einzelheiten des Indexierungsprozesses von Google zu verstehen, beschloss ich, eine kleine Untersuchung durchzuführen.

Ich habe überprüft, was die Google Search Console zu dieser URL zu sagen hat.

GSC gab an, dass diese URL „entdeckt – derzeit nicht indexiert“ wurde.  

Wenn Sie in die Google-Dokumentation schauen, finden Sie die folgende Erklärung des Status:

Entdeckt – derzeit nicht indexiert: Die Seite wurde von Google gefunden, aber noch nicht gecrawlt.

Quelle: Google

Der Status der URL schien höchst unwahrscheinlich. Ich konnte nicht glauben, dass Google diese Seite nicht innerhalb von drei Wochen nach der Veröffentlichung auf einer relativ kleinen Website gecrawlt hat.

Also habe ich unsere Serverprotokolle überprüft.

Serverprotokolle ermöglichen es Ihnen, den Datenverkehr auf Ihrer Website zu untersuchen. Sie enthalten Informationen zu jeder Anfrage, einschließlich Uhrzeit und Datum, User-Agent-String, IP-Adresse usw. Dank dieser Informationen konnte ich sehen, ob (und wann) Googlebot auf dieser Seite war.

Überraschenderweise stellte ich fest, dass der Googlebot die Seite an dem Tag besuchte, an dem wir den Artikel veröffentlichten!

An diesem Punkt hatte ich zwei entscheidende Informationen:

1. Die Daten aus der Google Search Console, dass der Googlebot die Seite noch nicht besucht hatte, stimmten nicht. Serverprotokolle belegen, dass der Googlebot die URL am Tag der Veröffentlichung des Artikels besucht hat.
2. Es war nicht nur ein Fehlerbericht von der Google Search Console. Die Seite erhielt keinen organischen Traffic, also gab es deutlich größere Probleme als nur Fehler im Bericht.

Immer mehr Websites leiden unter dem Indexierungsfehler von Google

Ich wollte mehr über diesen Fehler und sein Ausmaß erfahren, also habe ich eine größere Stichprobe von Websites recherchiert, um umsetzbare Schlussfolgerungen zu ziehen.

Ich habe Serverprotokolle von vier anderen Websites gesammelt und mich in die Daten vertieft.

Es stellte sich heraus, dass 100 % der von mir untersuchten Websites unter genau diesem Problem litten. Es wurden mehrere URLs vom Googlebot besucht, aber von der Google Search Console falsch klassifiziert, entweder als:

• Entdeckt – derzeit nicht indiziert, oder
• Unbekannt.

Im Fall des Status „Unbekannt“ scheint Google anzugeben, dass es die Seite nie besucht hat und sich nicht einmal daran erinnern kann, die URL zu entdecken.

Ich habe festgestellt, dass das Problem auf einer der getesteten Seiten sogar 6 Monate nach dem ersten Besuch durch Google vorhanden war. Laut Serverprotokollen war der letzte Besuch am 7. März, aber am 27. Oktober war der Status noch unbekannt.

Anscheinend vergisst Google gelegentlich URLs irgendwann in der Indizierungspipeline. Es ist unklar, ob die Suchmaschine einige URLs einfach aus den Augen verliert oder sie absichtlich weglässt.

In jedem Fall sind die Folgen schwerwiegend. Die vergessenen Seiten erhalten keinen organischen Traffic.

Eine mögliche Lösung für den Fehler

Dan Shure teilte einen interessanten Fall im Zusammenhang mit dem vergessenen URL-Fehler.

Könnte „Entdeckt – aber derzeit nicht indexiert“ eine URL in eine Art „schwarze Liste“ setzen?

Ich dachte, ich würde etwas Seltsames und Interessantes teilen, das mit ein paar Blog-Posts eines Kunden passiert ist.

(1/5) (Ich hasse es Threads zu machen, aber das braucht ein kleines Detail)

– Dan Shure (@dan_shure) 8. November 2021

Es scheint , als hätte das Ändern der URL ausgereicht, um das Problem zu lösen.

Dan Shure war nicht der Einzige, der diese Lösung getestet hat. Frank Olivo hat fast ⅓ seiner Artikel indexiert, indem er ihre URLs geändert hat!

Dies funktionierte bei etwa 12 der 38 Artikel, an denen wir es ausprobiert haben. Alle wurden am selben Tag indiziert, an dem wir sie neu veröffentlichten. Die restlichen Artikel werden immer noch fast einen Monat später "entdeckt".

– Frank Olivo (@FrancoOlivo) 7. Dezember 2021

Es ist möglich, dass diese URLs unter Muster von URLs mit geringer Qualität fielen, sodass Google sie nicht gecrawlt und sie daher in der Google Search Console als „Entdeckt – derzeit nicht indexiert“ eingestuft hat.

Sie können Google davon überzeugen, die Seite als neu zu behandeln und erneut zu crawlen, indem Sie die URL ändern. Diese Lösung kann helfen, die Seite zu indizieren, aber es ist nur eine Problemumgehung. Es verhindert nicht, dass das Problem erneut auftritt. Google sollte das Problem angehen und den Fehler dauerhaft beheben.

Einpacken

Wie im Artikel beschrieben, gibt es ein schwerwiegendes Problem mit der Indizierung. Es ist nicht so offensichtlich und spektakulär wie frühere Indexierungsfehler (z. B. im Zusammenhang mit der Kanonisierung), aber es kann sich dennoch negativ auf jede Website auswirken.

Wenn Sie ein Google-Mitarbeiter sind und das Problem untersuchen möchten, kann ich Ihnen einige Beispiel-URLs mitteilen, bei denen dieses Problem aufgetreten ist.

Haben Sie diesen Fehler oder einen ähnlichen Indexierungsfehler auf Ihrer Website bemerkt? Gib mir Bescheid!