So überprüfen Sie den Indexierungsstatus einer großen Website

Bevor Ihre Seiten in den Suchergebnissen erscheinen und Traffic auf Ihre Website lenken, müssen sie indiziert werden.

Leider ist es eine Herausforderung, indexiert zu werden, besonders wenn Sie eine große Website haben. Unseren Recherchen zufolge sind 16 % der wertvollen Seiten auf Websites nicht indexiert.  

Bevor Sie Schritte unternehmen, um die Indizierung und Suchleistung Ihrer Website zu verbessern, ist es wichtig, dass Sie die Indexabdeckung Ihrer Website überprüfen und feststellen, welche Ihrer Seiten korrekt indiziert sind und welche nicht.

Eine Herausforderung, vor der Sie möglicherweise stehen, besteht darin, zuverlässige Methoden zur Überprüfung des Indexierungsstatus Ihrer Website zu finden, mit denen Sie URLs in großen Mengen analysieren können. Wenn dies der Fall ist, sind Sie bei uns genau richtig.

Es gibt einige nützliche Tools, die Ihnen helfen können, die Indexabdeckung Ihrer Website zu bestimmen, aber auch bei einer gründlicheren Analyse jeder URL helfen, um festzustellen, warum sie nicht indexiert ist.

Befolgen Sie meine Ratschläge in diesem Artikel, um zu erfahren, wie Sie den Indizierungsstatus einer großen Website überprüfen, die Probleme analysieren, die verhindern, dass Seiten indiziert werden, und die richtigen Lösungen dafür finden.

Was zu tun ist, bevor Sie den Indexierungsstatus Ihrer Website überprüfen

Bevor Sie Ihren Indizierungsstatus überprüfen und Ihre Probleme angehen, müssen Sie eine geeignete Indizierungsstrategie haben.

Indem Sie es erstellen, können Sie festlegen, welche Seiten wesentlich sind und indiziert werden sollen und welche von der Indizierung ausgeschlossen werden sollen.

Einige Ihrer Seiten können von geringer Qualität sein oder doppelte Inhalte enthalten, und Benutzer sollten sie nicht in den Suchergebnissen finden. Solche Seiten sollten in der Regel aus dem Index herausgehalten werden.

Hier sind einige Beispiele für Seiten, die nicht indexiert werden sollten:

• Archivierte Inhalte,
• Login- und passwortgeschützte Seiten,
• URLs mit hinzugefügten Parametern, die durch Sortieren oder Filtern erstellt wurden,
• Interne Suchergebnisse,
• Danke Seiten.

Wenn Sie nicht möchten, dass eine Seite indexiert wird, haben Sie folgende Möglichkeiten:

• Fügen Sie geeignete Anweisungen für Bots in die robots.txt-Datei ein, um zu verhindern, dass sie eine bestimmte Seite crawlen,
• Implementieren Sie das noindex-Tag , um zu verhindern, dass Suchmaschinen-Bots eine Seite indexieren.

URLs, die nicht indexiert wurden und dies auch bleiben sollten, erfordern keine Aufmerksamkeit. Konzentrieren Sie sich stattdessen auf die Seiten, die nicht indexiert sind, es aber sein sollten.

Als Faustregel sollten Sie darauf abzielen, die kanonischen Versionen Ihrer Seiten zu indizieren, und sie sollten in Ihrer Sitemap eingereicht werden.  

Wie genau können Sie also herausfinden, welche Seiten indexiert sind und welche nicht?

Methoden zum Überprüfen Ihres Indizierungsstatus und Diagnostizieren von Indizierungsproblemen

Es gibt ein paar nützliche Tools, um die Indexabdeckung Ihrer Website zu überprüfen.

Beachten Sie jedoch, dass die meisten von ihnen Beschränkungen für die Anzahl der URLs haben, die Sie überprüfen können. Wenn Sie online suchen, stoßen Sie möglicherweise auf viele Tools, die unzuverlässig sind.

Ich zeige Ihnen, welche Tools die genauesten Informationen und Workarounds zeigen, um ihre Grenzen zu erweitern.  

Außerdem werde ich Ihnen ein neues Tool zur Indizierungsanalyse vorstellen, das von unserer Schwesterfirma ZipTie entwickelt wurde.

Der Befehl „site:“.

Eine beliebte Methode, um die Anzahl der indexierten Seiten einer Website zu überprüfen, besteht darin, den Befehl „site:“ in die Google-Suche einzugeben, gefolgt vom Domainnamen, z. B. „site:onely.com“.

Obwohl Sie damit den Indexierungsstatus einer Website überprüfen können, können die angezeigten Daten irreführend oder ungenau sein, da es sich bei den Zahlen nur um Schätzungen handelt.

Diese Methode ist besonders ungenau für große Websites mit sich dynamisch ändernden Inhalten.

Es kann vorkommen, dass die Ergebnisse bei jeder Verwendung eine völlig andere Anzahl indexierter Seiten für Ihre Domain anzeigen.

Während der Befehl „site:domain“ jedoch alles andere als optimal ist, können Sie den Befehl „site:URL“ verwenden, bei dem Sie anstelle eines Domänennamens eine bestimmte URL eingeben. Sie können dann erfahren, ob die jeweilige URL indexiert wurde.

John Mueller hat diese Lösung empfohlen:

Die Verwendung von site:-queries ist nützlich, um einzelne URLs zu überprüfen, aber ich würde die Zählungen nicht für Diagnosezwecke verwenden.

– John (@JohnMu) 16. April 2019

Tools in der Google Search Console

Die Google Search Console bietet viel bessere Tools zum Überprüfen Ihrer Indexabdeckung.

Wenn Sie sie noch nicht regelmäßig verwenden, fangen Sie gleich damit an – sie sollten zu Ihren Standard-SEO-Überwachungstools werden.

Lassen Sie mich sie detaillierter beschreiben und beraten, wie Sie sie auf einer großen Website optimal nutzen können.

Der Indexabdeckungsbericht

Der Bericht zur Indexabdeckung in der Google Search Console gibt Ihnen Daten von Google darüber, welche Seiten indexiert sind.

Darüber hinaus erhalten Sie Einblick in den spezifischen Status Ihrer URLs in Bezug auf deren Erkennung, Crawling und Indexierung und gegebenenfalls, welches Problem Google festgestellt hat, das ihre Indexierung verhindert.

Der Indexabdeckungsbericht zeigt vier Status an:

• Fehler – die Seite wird aufgrund eines Fehlers nicht indexiert.
• Warnung – die Seite ist indexiert, aber Google hat ein Problem gefunden, das Sie beachten sollten,
• Ausgeschlossen – Die Seite ist nicht indexiert, aber Google glaubt, dass Sie beabsichtigt haben, sie nicht indexiert zu lassen.
• Gültig – die Seite wird ohne Probleme indexiert.

Oben links haben Sie die Wahl zwischen „Alle bekannten Seiten“ – also alle URLs, die Google auf irgendeine Weise entdeckt hat – oder „Alle eingereichten Seiten“ – Seiten, die Google in Ihrer Sitemap gefunden hat.

Die Ansicht „Alle eingereichten Seiten“ sollte alle Seiten enthalten, die indexiert werden sollen. Diese Ansicht sollten Sie mit „Alle bekannten Seiten“ vergleichen.

Wenn einige Seiten unter „Alle bekannten Seiten“, aber nicht unter „Alle eingereichten Seiten“ erscheinen und indiziert werden sollten, platzieren Sie sie in Ihrer Sitemap. Wenn sie nicht indexiert werden sollten, bedeutet dies, dass Google sie woanders findet, vielleicht über Links.

Die Haupteinschränkung des Berichts besteht darin, dass jeder Bericht mit bestimmten Problemen nur 1000 Seiten umfasst. Glücklicherweise gibt es Möglichkeiten, es zu umgehen.

Eine Lösung besteht darin , separate Domäneneigenschaften für verschiedene Bereiche Ihrer Website zu erstellen.

Eine Alternative wäre, Ihre Seiten aufzuteilen, indem Sie mehrere Sitemaps erstellen und den Bericht auf eine separate Sitemap einschränken.

Es wird empfohlen, dass jede Sitemap maximal 50.000 URLs enthält.

Es gibt viele Möglichkeiten, die Seiten zwischen Sitemaps aufzuteilen. Erwägen Sie, sie so anzuordnen, dass Sie ähnliche Arten von Inhalten für eine einfachere Analyse gruppieren können.

Hier sind ein paar Vorschläge:

• Separate Sitemaps für verschiedene Arten von Inhalten, z. B. Kategorien, Produkte, Blogbeiträge,
• Separate Sitemaps für eine ausgewählte Menge oder Art von Produkten,
• Separate Sitemaps für verschiedene Sprachversionen der Website.

Wählen Sie nun eine der Sitemaps aus und navigieren Sie zum Abschnitt „Ausgeschlossen“ des Berichts.

Gehen Sie die angezeigten Probleme durch – rechts sehen Sie die Anzahl der betroffenen Seiten und erfahren, welche Probleme am häufigsten auftreten.

Die Status des Berichts beschreiben die Ursachen für jedes Problem sehr anschaulich und weisen in den meisten Fällen auf die Maßnahmen hin, die Sie ergreifen müssen, um sie zu beheben.

Lesen Sie in meiner vollständigen Anleitung zum Indexabdeckungsbericht der Google Search Console nach, wie Sie die einzelnen Status ansprechen .

Suchen Sie nach Mustern auf Ihren ausgeschlossenen Seiten. Wenn viele Seiten einen ähnlichen Inhalt oder ein ähnliches Layout haben, kann die Überprüfung nur eines Teils der URLs Ihnen eine Vorstellung davon geben, womit die verbleibenden Seiten möglicherweise zu kämpfen haben.

URL-Prüftool

Eine weitere hilfreiche Funktion, die in der Google Search Console verfügbar ist, ist das URL-Inspektionstool.  

Damit können Sie überprüfen, ob eine bestimmte URL im Google-Index enthalten ist, und zahlreiche zusätzliche Informationen anzeigen. Sie können dieses Tool verwenden, um die Daten zu ergänzen, die Sie aus dem Indexabdeckungsbericht erhalten.

Hier ein Überblick über die wichtigsten Features des URL-Inspection-Tools:

• Der Anwesenheitsstatus – ob die URL in den Google-Suchergebnissen angezeigt werden kann oder nicht, und alle Warnungen oder Fehler, die von Google erkannt wurden.
• Gecrawlte Seite anzeigen – technische Details wie die HTML- und HTTP-Antwort, die Google erhalten hat.
• Fordern Sie die Indexierung an – verwenden Sie sie, um Google zu bitten, Ihre URL erneut zu crawlen und neu zu indizieren. Für diese Funktion gibt es ein Tageslimit. Obwohl es in der Google-Dokumentation nicht ausdrücklich angegeben ist, wird es als Methode erwähnt, um „nur ein paar URLs“ zu übermitteln. Es kann Ihnen erlauben , bis zu 50 URLs einzureichen .
• Details zum Abdeckungsstatus einer Seite, nämlich:

1. Ob bekannte Sitemaps auf die URL verweisen,
2. Die verweisende Seite – eine Seite, die Google hätte verwenden können, um die URL zu entdecken,
3. Wann die Seite zuletzt gecrawlt wurde,
4. Ob eine Seite gecrawlt werden kann,
5. ob eine Seite vom Server abgerufen werden kann,
6. Ob eine Seite indexierbar ist,
7. Die vom Benutzer angegebene kanonische URL,
8. Die kanonische URL, die Google stattdessen ausgewählt hat.

• Verbesserungen – Dieser Abschnitt zeigt, ob Google gültige strukturierte Daten auf einer Seite gefunden hat, sowie Details zur mobilen Nutzbarkeit und AMP einer Seite.
• Live-URL testen – Sie können einen Live-Test für eine URL durchführen, z. B. wenn Sie Korrekturen oder Änderungen validieren möchten.

Das URL-Inspektionstool erfordert, dass Sie Ihren Indexierungsstatus pro URL überprüfen, was bei einer großen Website zeitaufwändig sein kann.

Die Analyse einer Stichprobe von Seiten kann Sie jedoch bereits darauf hinweisen, mit welchen Problemen Ihre Website zu tun hat.

Anstatt alle URLs zu untersuchen, können Sie einen Teil der URLs auswählen und überprüfen, die aus dem Google-Index ausgeschlossen wurden. Sie können auch URLs sammeln, die indexiert werden sollten, aber keinen organischen Traffic erhalten.

Darüber hinaus kann Ihre Website die folgenden Abschnitte haben:

• beispiel.com/shop
• beispiel.com/blog
• example.com/gallery.

Sie können eine Reihe von URLs auswählen, die aus jedem bestimmten Abschnitt analysiert werden sollen. Aber wählen Sie nicht nur ein paar URLs aus – verwenden Sie für jeden Abschnitt ein repräsentatives Beispiel.

URL-Inspektions-API

Im Jahr 2022 kündigte Google die Veröffentlichung der URL-Inspektions-API an, mit der Sie bis zu 2000 Anfragen pro Tag für eine einzelne Eigenschaft der Google Search Console senden können.

Dies sind großartige Neuigkeiten für alle, die die Daten des URL-Inspektionstools nützlich fanden, aber Probleme damit hatten, nur jeweils eine URL zu überprüfen. Durch den Zugriff auf die URL-Inspektionsdaten über eine API können Sie den Prozess automatisieren, was mehrere neue Möglichkeiten zur Nutzung dieser Informationen eröffnet.

Einschränkungen der Tools der Google Search Console

Die Tools der Google Search Console sind nicht ohne Fehler.

Im Oktober 2021 berichteten Benutzer, dass URLs im Bericht zur Indexabdeckung als „ gecrawlt – derzeit nicht indexiert “ gekennzeichnet waren. Bei der Überprüfung mit dem URL-Inspektionstool wurden diese URLs jedoch als „Eingereicht und indexiert“ oder mit einem anderen Status aufgeführt.

Google antwortete, dass diese Situation kein Fehler, sondern eine Einschränkung des Berichts zur Indexabdeckung sei:

Dies liegt daran, dass die Berichtsdaten zur Indexabdeckung mit einer anderen (und langsameren) Rate aktualisiert werden als die URL-Prüfung. Die in der URL-Prüfung angezeigten Ergebnisse sind neueren Datums und sollten als maßgebend betrachtet werden, wenn sie mit dem Bericht zur Indexabdeckung in Konflikt stehen. (2/4)

– Google Search Central (@googlesearchc) 11. Oktober 2021

Melden Sie ein Indizierungsproblem

Google kündigte im April 2021 an, dass es eine Funktion namens Indexierungsproblem melden einführt , um Benutzern zu helfen, Google auf ein Indexierungsproblem aufmerksam zu machen. Die Funktion ist derzeit in den USA verfügbar.

Für diejenigen, die weitere Unterstützung benötigen, wird angemeldeten Search Console-Benutzern in den USA in Kürze eine Schaltfläche „Indexierungsproblem melden“ unter den Artikeln Indexabdeckungsbericht und URL-Inspektionstool in der Search Console-Hilfe angezeigt.https://t.co /3sFqvCvhjohttps://t.co/I7k3BYAH0i pic.twitter.com/Wd9ooXqK0y

– Google Search Central (@googlesearchc) 28. April 2021

Benutzer können auf ein Formular zugreifen und auswählen, ob ihre Website oder Seiten nicht indexiert sind oder indexiert sind, aber nicht richtig ranken. Sie werden dann durch die Fehlerbehebungsoptionen im Zusammenhang mit dem gemeldeten Problem geführt.

Wenn diese Lösungen fehlschlagen, können sie das Problem direkt an Google melden.

Diese Funktion sollte jedoch als letzter Ausweg betrachtet werden, und es ist nicht garantiert, dass Google Ihrer Anfrage nachkommt und Ihre Inhalte indexiert.

Google ist bestrebt, nur die relevantesten und qualitativ hochwertigsten Inhalte zu indizieren. Daher kann das Befolgen von Best Practices und das Optimieren Ihrer Seiten, um sie crawlbar, indexierbar und der Aufmerksamkeit von Google würdig zu machen, zu dauerhaften Ergebnissen Ihrer Website führen.

Kabelbinder

ZipTie bietet eine Reihe umfangreicher Funktionen zur Analyse des Indizierungsstatus jeder Website, unabhängig von ihrer Größe. Das Tool ist besonders vorteilhaft für große, unternehmensartige Websites.

Genau das bietet ZipTie:

Analysieren Sie die Indexabdeckung

Die Kernfunktion von ZipTie ist, dass es Ihnen mitteilt, welche Seiten nicht von Google indiziert wurden.  

Und was entscheidend ist, es gibt keine Begrenzung für die Anzahl der URLs, die ZipTie analysieren kann. Dies ist wichtig für große Websites mit Tausenden oder Millionen von URLs, die mit anderen Tools nicht erfolgreich bewertet werden können.

Entscheidend ist, dass Sie die Indexabdeckung jeder Domain überprüfen können – nicht nur Ihre, sondern auch die Ihrer Konkurrenten. Vergleichen Sie dann Ihren Indexierungsstatus mit konkurrierenden Domains und sehen Sie, in welchen Bereichen Sie sich verbessern sollten, um weiterzukommen.

Überwachen Sie Indizierungsverzögerungen

Mit ZipTie können Sie Indizierungsverzögerungen überwachen und abschätzen, wann Ihre neu veröffentlichten Inhalte indiziert werden und wann Sie damit rechnen können, dass sie den Datenverkehr steigern.

Dazu analysieren Sie neue URLs, die Ihren Sitemaps hinzugefügt wurden, und untersuchen die Zeit zwischen der Veröffentlichung des Inhalts und dem Moment, in dem er in den Suchergebnissen erscheint.

Warnungen zu deindexierten Inhalten

ZipTie informiert Sie über die Menge an Inhalten, die deindexiert wurden. Bereits indexierte Seiten können nach einiger Zeit aus dem Index von Google gestrichen werden – mit dieser Funktion können Sie im Ernstfall schnell reagieren.

JavaScript-Indizierung

Das Indexieren von JavaScript-basierten Seiten ist schwierig – aber ZipTie bietet eine helfende Hand.

Insbesondere kann ZipTie feststellen, ob Google bestimmte mit JavaScript generierte Seitenfragmente indiziert hat.

Es ist wichtig zu verstehen, ob Google Probleme beim Rendern und Indizieren Ihrer JavaScript-basierten Inhalte hat. Wenn dies der Fall ist, kann ZipTie Ihnen genau mitteilen, welche Seitenelemente problematisch sind.

Zusätzliche Informationen auf nicht indizierten Seiten

Als Bonus bietet ZipTie zusätzliche Informationen zu nicht indizierten URLs wie Wortzahl, Titel, Kopfzeilen, Bildzahl, Meta-Beschreibung und mehr. Dies ist wichtig, wenn die möglichen Ursachen von Indizierungsproblemen untersucht und Muster zwischen nicht indizierten Seiten identifiziert werden.

Sie können die Daten aus ZipTie als CSV-Datei exportieren und einfach mit Daten aus anderen Tools wie Google Analytics oder Google Search Console kombinieren.

ZipTie ist noch nicht offen verfügbar. Weitere Details dazu werden veröffentlicht, wenn die Entwicklung des Tools voranschreitet. Sie können über den offiziellen Start auf dem Laufenden bleiben, indem Sie sich in die Mailingliste von ZipTie eintragen.  

Aber Sie müssen nicht warten.

Setzen Sie sich jetzt mit dem Team von ZipTie in Verbindung , um eine eingehende Analyse des Indexierungsstatus Ihrer Website durchzuführen.

Bing-Webmaster-Tools

Auch wenn das Erscheinen in Bing nicht Ihre Priorität ist, können Ihnen die Bing-Webmaster-Tools dabei helfen, einen Einblick in alle Arten von Indizierungsproblemen zu erhalten, von denen einige möglicherweise auch in anderen Suchmaschinen auftreten.

Site-Explorer

Schauen wir uns zunächst den Site Explorer an.  

Mit dem Site Explorer-Tool können Sie unter anderem durch die Struktur Ihrer Website und Details zum Indexierungsstatus der Seiten navigieren:

Ein Aspekt, der Site Explorer auszeichnet, ist die Option, URLs pro Ordner zu gruppieren, wobei jeder Ordner eine Subdomain oder einen Teil des URL-Pfads darstellen kann. Als Ergebnis haben Sie Zugriff auf Daten für eine beträchtliche Anzahl von Seiten.

Zu den Crawling-Informationen, auf die Sie Zugriff haben, gehören:

• Indiziert – die Anzahl der indizierten URLs in einem bestimmten Ordner,
• Error – Kritische Crawling-Fehler, die dazu führten, dass die angegebenen URLs nicht indexiert wurden,
• Warnung – bei diesen URLs wurden Richtlinienprobleme, vorübergehende Crawling-Probleme, in der robots.txt-Datei nicht zulässig usw. festgestellt. Überwachen Sie diesen Abschnitt regelmäßig, um Spitzen oder Rückgänge bei betroffenen URLs zu erkennen.
• Ausgeschlossen – URLs, die aus dem Index ausgeschlossen wurden, z. B. aufgrund von Spam-Verstößen oder niedrigem Rang.

Sie haben die Möglichkeit, die URLs weiter zu filtern, um Seiten basierend auf bestimmten Merkmalen anzuzeigen.

Mit diesen Filtern können Sie URLs identifizieren, die Ihre Aufmerksamkeit erfordern, und Sie in die richtige Richtung weisen, wenn Sie Probleme mit der Indexierung beheben.

Das URL-Prüftool von Bing

Ein weiteres großartiges Feature ist das URL-Inspektionstool von Bing , das den Site Explorer ergänzt. Damit können Sie überprüfen, ob sich eine bestimmte URL im Index von Bing befindet und ob Indexierungs- oder Crawling-Fehler erkannt wurden.

Fügen Sie eine URL in das Tool ein – Sie sehen dann viele Zusatzinformationen.

Im Abschnitt Karteikarte sehen Sie den Indizierungsstatus einer URL und Details dazu, z. B. wann die URL entdeckt und wie sie gecrawlt wurde .

Sie können auch den HTML-Code der Seite und die vom System empfangene HTTP-Antwort anzeigen.

Wenn die URL aufgrund von Fehlern nicht indexiert wurde, können Sie weitere Maßnahmen ergreifen, z. B. die Indexierung einer URL anfordern, den Support kontaktieren, Anpassungen an Ihrer robots.txt-Datei vornehmen usw.

Bing gibt Hinweise, warum eine Seite möglicherweise nicht indexiert wird – hier sind einige Gründe:

• Kein Link verweist auf Ihre Seite,
• Die Seite erfüllt nicht die Qualitätsschwellenwerte,
• Robots.txt-Anweisungen blockieren das Crawlen der Seite,
• Es gibt andere Crawling-Probleme mit der Seite – die Live-URL-Funktion hilft Ihnen dabei, sie genauer zu untersuchen.
• Die Seite hat ein noindex-Tag, das verhindert, dass sie indexiert wird,
• Die URL wurde noch nicht entdeckt und gecrawlt und braucht einfach mehr Zeit,
• Die Seite verstößt gegen die Qualitätsrichtlinien und wurde abgestraft und aus dem Index entfernt.

Sie können dies auch als Bezugspunkt verwenden, wenn Sie Indizierungsprobleme in anderen Suchmaschinen wie Google diagnostizieren.

Wenn URLs nicht indexiert sind und es sein sollten, ermöglicht Ihnen Bing , URLs zur Indexierung einzureichen .

Wichtig ist, dass das Limit relativ hoch ist – Sie können bis zu 10.000 URLs pro Tag einreichen. Das übersteigt bei weitem das von Google gemeldete Limit von bis zu 50 URLs.

Häufige Indizierungsprobleme für große Websites

Indexierungsprobleme treten auf den meisten Websites auf und können sich katastrophal auf die organische Suchleistung Ihrer Website auswirken.

Tomek Rudzki hat sich mit den häufigsten Indexierungsproblemen für verschiedene Website-Größen befasst.

Durch seine Forschung wissen wir jetzt, dass große Websites typischerweise unter den folgenden Problemen leiden:

• Gecrawlt – derzeit nicht indexiert,
• Entdeckt – derzeit nicht indiziert,
• Doppelte Inhalte,
• Weich 404,
• Crawling-Probleme.

Ein weiteres typisches Problem betrifft die interne Verlinkung. Der Googlebot muss einem Pfad folgen, um eine Seite zu finden – wenn sie nicht mit anderen Seiten verbunden ist, wird sie möglicherweise nicht in den Index aufgenommen.

So beheben Sie Indizierungsprobleme

Sie können Maßnahmen ergreifen, um die Chancen zu maximieren, dass Ihre Seiten indexiert werden.

Diese Lösungen sind auch hilfreich, wenn Sie nicht indexierte URLs finden und nicht erkennen können, warum sie nicht indexiert sind.

Stellen Sie sicher, dass Ihre Seiten indexierbar sind

Um herauszufinden, ob Ihre Seiten indexierbar sind, müssen Sie zwei Aspekte untersuchen:

Die in Ihrer robots.txt-Datei angegebenen Anweisungen

Die robots.txt enthält Anweisungen für Webcrawler, was auf einer Website gecrawlt werden soll. Stellen Sie sicher, dass keine „Disallow“-Anweisung das Crawlen Ihrer wertvollen Seiten verhindert.  

Ob die Seiten noindex-Tags enthalten

Noindex-Tags ermöglichen Suchmaschinen-Bots den Besuch der Seiten, verhindern jedoch, dass sie indexiert werden.

Um zu prüfen, ob Ihre Seiten indexierbar sind, verwenden Sie einen SEO-Crawler – zum Beispiel Screaming Frog.  

Sie können eine Liste Ihrer URLs in das Tool einfügen und den Crawl starten. Wenn Sie damit fertig sind, sehen Sie sich die Spalte Indizierbarkeit an, die Ihnen sagt, ob eine Seite indexierbar oder nicht indexierbar ist.

Stellen Sie sicher, dass alle wertvollen Seiten in einer Sitemap eingereicht werden

Überprüfen Sie, ob die nicht indizierten Seiten in einer Sitemap eingereicht wurden – falls nicht, fügen Sie sie entsprechend hinzu.

Stellen Sie außerdem sicher , dass Ihre Sitemaps keine URLs enthalten, die von vornherein nicht indexiert werden sollten . Suchmaschinen zu erlauben, irrelevante Seiten zu entdecken und zu crawlen, kann zu ineffizientem Crawling führen und die Zeit verlängern, die die Bots benötigen, um Ihre qualitativ hochwertigsten Inhalte zu finden.

Wenn Sie keine Sitemap haben, können Sie sie einfach erstellen oder spezielle Tools verwenden, die sie auf dem neuesten Stand halten, wie z. B. Yoast SEO oder SEO Spider von Screaming Frog . Sie können auch eines der Sitemap-Generator-Tools verwenden.  

Unser ultimativer Sitemap-Leitfaden ist Ihre wichtigste Ressource für die Erstellung einer optimierten Sitemap.

Passen Sie Ihre interne Verlinkung an

Die interne Verlinkung ist aus SEO-Sicht ein entscheidender Aspekt Ihrer Website.

Das einfache Einfügen einer URL in eine Sitemap reicht Google nicht aus. Der Googlebot muss sicher sein, dass eine URL seine Aufmerksamkeit verdient – ​​aus diesem Grund muss er Signale finden, die seine Wichtigkeit hervorheben.

Stellen Sie sicher, dass Sie keine verwaisten Seiten haben, d. h. Seiten ohne eingehende Links. Sie können Ihre Website durchsuchen, um verwaiste Seiten zu finden – tun Sie dies beispielsweise, indem Sie den Bericht über verwaiste Seiten von Screaming Frog verwenden.

Einige Ideen zur Verbesserung Ihrer internen Verlinkung umfassen das Erstellen von Abschnitten für verwandte Produkte oder das Schreiben von Blog-Beiträgen, um auf andere Seiten Ihrer Website zu verlinken.

Sie müssen auch eine saubere Website-Architektur haben. Es bedeutet, den Inhalt der Website so zu organisieren, dass Benutzer und Bots intuitiv und schnell zu jedem Abschnitt Ihrer Website navigieren können.

Beheben Sie Probleme mit doppelten Inhalten

Wenn mehr als eine Version desselben oder sehr ähnlichen Inhalts auf Ihrer Website vorhanden ist, können Suchmaschinen Schwierigkeiten haben, zu entscheiden, welche Seite die repräsentativste Version ist.

Um die Arbeit von Suchmaschinen zu erleichtern, implementieren Sie kanonische Tags, die auf Ihre ausgewählten kanonischen URLs verweisen. Jede Seitenversion sollte nur eine kanonische URL haben.

Sie können die Tools der Google Search Console verwenden, um festzustellen, ob Google diese URL als die kanonische URL anerkennt oder eine andere URL ausgewählt hat.

Stellen Sie sicher, dass die kanonischen Tags durchgehend auf die richtigen kanonischen Seiten verweisen. Wenn sie auf doppelte Seiten verweisen, bleibt die primäre URL möglicherweise nicht indexiert.

Befolgen Sie die Best Practices von JavaScript SEO für einfacheres Crawling und Indizierung

Obwohl Suchmaschinen beim Rendern und Indizieren von JavaScript viel besser geworden sind, ist ihr Umgang damit immer noch nicht perfekt.

Im Allgemeinen rendern Suchmaschinen JavaScript möglicherweise nicht auf einer Seite , wenn sie der Meinung sind, dass dadurch keine wesentlichen Änderungen an deren Inhalt vorgenommen werden. Auch wenn Ihre Seiten mit und ohne JavaScript völlig unterschiedlich aussehen, können Sie Schwierigkeiten haben, sie zu indizieren.

Es gibt Tools, mit denen Sie Ihre JavaScript-Indizierung analysieren können.

Mit unserem Tool „Was würde JavaScript bewirken ?“ können Sie ganz einfach überprüfen, welche Teile Ihrer Seite auf JavaScript angewiesen sind .

Verwenden Sie den Live-Test im URL-Prüftool von Google, um einen Screenshot anzuzeigen, der zeigt, wie genau der Googlebot den JavaScript-Inhalt auf Ihrer Seite darstellen würde. Sie können dann zur Registerkarte Weitere Informationen gehen, um nach JavaScript-Fehlern zu suchen.

Die Option Gecrawlte Seite anzeigen im URL-Inspektionstool zeigt Ihnen, was Google auf Ihrer Seite gecrawlt hat und ob der gesamte JavaScript-Inhalt vorhanden ist.

Bei Problemen mit der JavaScript-Indizierung finden Sie weitere Informationen in unserem Artikel über JavaScript-SEO .

Optimieren Sie Ihr Crawl-Budget

Das Crawl-Budget ist die Anzahl der Seiten einer Website, die Suchmaschinen crawlen können und wollen.

Das Crawling-Budget Ihrer Website kann von zahlreichen Faktoren beeinflusst werden.

Befolgen Sie die folgenden allgemeinen Richtlinien , damit Ihre Seiten effizient gecrawlt werden :

• Verbessern Sie Ihre Web-Performance,
• Optimieren Sie die JavaScript- und CSS-Dateien auf Ihrer Website,
• Vermeiden Sie interne Weiterleitungen und Weiterleitungsketten,
• Passen Sie Ihre Website-Architektur an,
• Bereinigen Sie Ihre interne Verlinkung – aktualisieren Sie alle Links, die auf 404-Seiten verweisen, und verlinken Sie häufig auf Ihre wichtigsten Inhalte,
• Haben Sie eine richtig strukturierte Sitemap – Sie können die Struktur Ihrer Sitemap mit einem der SEO-Crawler wie Ryte oder Sitebulb analysieren.

Imbiss

Große Websites haben möglicherweise Schwierigkeiten, viele ihrer Seiten indizieren zu lassen. Aber das bedeutet nicht, dass es unmöglich ist, all Ihre wertvollen Inhalte zu indizieren.

Die Analyse der Indizierung einer großen Website kann einige Arbeit erfordern. Die in der Google Search Console und den Bing Webmaster Tools verfügbaren Funktionen geben Ihnen jedoch umsetzbare Erkenntnisse, auf die Sie sofort reagieren können.

Ich denke, Sie können davon ausgehen, dass ZipTie auf dem Gebiet der Indizierung bahnbrechend sein wird – ich ermutige Sie, sich für eine Indizierungsanalyse mit dem Team von ZipTie in Verbindung zu setzen.

Und wenn Sie es mit umfangreichen Indizierungsproblemen zu tun haben, die Sie nicht ansatzweise lösen können – wir haben alles gesehen und sagen Ihnen, auf welche Schwachstellen Sie sich konzentrieren sollten. Wenden Sie sich an uns!