Was sind Soft 404 im SEO?

Soft 404 ist kein offizieller HTTP-Statuscode, sondern ein fortschrittlicher Algorithmus, mit dessen Hilfe Google erkennen kann, ob eine Seite nicht existiert (oder wenig oder gar keinen Inhalt hat) , selbst wenn der HTTP-Statuscode dies nicht anzeigt.  

Der Algorithmus ist jedoch nicht perfekt, und Google kann bei der Klassifizierung einer Seite einen Fehler machen.

Unabhängig vom Grund für Soft 404-Fehler wirken sie sich negativ auf Ihre Website aus und verringern Ihre Sichtbarkeit in der organischen Suche.

In diesem Artikel erfahren Sie, wie sich Soft 404 auf Ihre Website auswirken, was sie verursachen kann und was Sie tun können, um sie zu beheben.

Was ist ein Soft-404?

Server kommunizieren mit Clients (z. B. Browsern oder Suchmaschinen-Bots) über HTTP-Statuscodes.

Wenn die Anforderung einer Seite erfolgreich ist, gibt der Server einen HTTP-Statuscode 200 zurück. Wenn die Seite fehlt, antwortet der Server mit dem Status 404 (Not Found).

Wenn Benutzer eine Seite anfordern, die nicht existiert, sehen sie in ihrem Browser eine Meldung, die darauf hinweist, dass etwas schief gelaufen ist. Die vom Browser angezeigte Nachricht entspricht jedoch nicht immer dem HTTP-Statuscode.

Hier kommt der Soft 404 ins Spiel.

Soft 404 ist ein Label, das Google einer Seite gibt, wenn es so aussieht, als ob die Seite nicht existiert, und gleichzeitig einen erfolgreichen HTTP-Statuscode 200 zurückgibt.

Wenn Google entscheidet, dass eine Seite ein Soft 404 ist, verlangsamt es das Crawling.

Wenn wir es [eine Seite] als Soft 404 sehen, wäre es wie ein 404, und wir würden das Crawlen dieser bestimmten URL verlangsamen, weil hier nichts ist – warum müssen wir sie jeden Tag crawlen?

Quelle: Johannes Müller

Das Erkennen von Soft 404-Fehlern ist aus Sicht der Suchmaschine aus zwei Gründen unerlässlich:

1. Google hat begrenzte Ressourcen. Das Web ist unendlich groß und es ist einfach unmöglich, alle Seiten zu crawlen. Aus diesem Grund muss Google Prioritäten setzen und auswählen, welche Seiten es wert sind, gecrawlt zu werden. Das Weglassen der weichen 404-Fehler ermöglicht es, sich auf wertvollere Seiten zu konzentrieren und so die Crawling-Effizienz zu erhöhen.
2. Google möchte seinen Nutzern qualitativ hochwertige Seiten präsentieren. Wenn Google vermutet, dass eine Seite nicht existiert, ist es offensichtlich, dass niemand sie finden möchte, und sie sollte nicht auf der Suchergebnisseite erscheinen.

Wie sich Soft 404 auf Ihre Website auswirken

Die Folgen für Ihre Website können unterschiedlich sein, je nachdem, welche Art von Seiten Google als Soft 404 eingestuft hat.

Wenn Google richtig lag und die Seite wirklich nicht existiert, ist die Hauptkonsequenz die Verschwendung Ihres Crawl-Budgets .

Ihr Crawl-Budget gibt die Anzahl der Seiten an, die Google auf Ihrer Website crawlen kann und möchte. Wenn Sie z. B. 100.000 Seiten haben und Ihr Crawl-Budget das Crawlen von 50.000 erlaubt, ist es wichtig sicherzustellen, dass das Budget für wertvolle Seiten ausgegeben wird. Wenn Google Ihr Crawl-Budget für das Crawlen von Soft 404-Fehlern verschwendet, reicht es möglicherweise nicht für Seiten, die Ihnen am wichtigsten sind und Ihnen Traffic bringen.

Die andere Seite der Medaille ist, wenn Google bei der Zuweisung des Status einen Fehler macht und denkt, dass eine wertvolle Seite ein Soft 404 ist. In diesem Fall wird die Seite nicht indexiert und bringt keinen organischen Traffic.

Wie können Sie Soft-404-Fehler erkennen?

Sie können überprüfen, welche Seiten Google in der Google Search Console im Bericht zur Indexabdeckung als weiche 404-Fehler meldet.

Greifen Sie auf den Bericht zu, indem Sie in der Seitenleiste auf die Option „Abdeckung“ klicken.

Wenn Google denkt, dass eine Seite ein Soft 404 ist, kann es ihr einen dieser beiden Status zuweisen:

• Soft 404 (Ausgeschlossene Kategorie) oder
• Die übermittelte URL scheint ein Soft 404 (Fehlerkategorie) zu sein.

Der einzige Unterschied zwischen diesen Status besteht darin, wie Google die URL ermittelt hat.

Im Fall des Status „Übermittelte URL scheint ein Soft 404 zu sein“, hat Google ihn in Ihrer Sitemap gefunden (Textdatei, die von Websitebesitzern erstellt wurde und nur die Seiten auflisten sollte, die Sie indexieren möchten). Mittlerweile hat Google diese URL beim Status „Soft 404“ selbst gefunden.

Sie können eine Liste einzelner URLs anzeigen, die Soft 404-Fehler melden, indem Sie auf einen dieser Status klicken. Diese Daten sind für den Export verfügbar, es gibt jedoch eine Beschränkung auf 1.000 URLs. Wenn Sie mehr exportieren möchten und mehr als eine Sitemap haben, können Sie die URLs für jede Sitemap separat herunterladen.

Der Indexabdeckungsbericht ist nicht der einzige Ort, an dem Sie den Status einer URL sehen können.

Im URL-Inspektionstool in der Google Search Console können Sie einzelne URLs doppelt überprüfen. Wenn Sie mehr als eine URL überprüfen möchten, können Sie die URL-Inspektions-API verwenden und bis zu 2.000 URLs gleichzeitig überprüfen.

Wenn Sie einen Unterschied zwischen den Status im Bericht zur Indexabdeckung und im URL-Prüftool feststellen, handelt es sich möglicherweise nur um eine Verzögerung im Bericht zur Indexabdeckung. Vertrauen Sie in diesem Fall dem URL-Inspektionstool, da es neuere Daten anzeigt.

Dies liegt daran, dass die Berichtsdaten zur Indexabdeckung mit einer anderen (und langsameren) Rate aktualisiert werden als die URL-Prüfung. Die in der URL-Prüfung angezeigten Ergebnisse sind neueren Datums und sollten als maßgebend betrachtet werden, wenn sie mit dem Bericht zur Indexabdeckung in Konflikt stehen. (2/4)

– Google Search Central (@googlesearchc) 11. Oktober 2021

Soft 404-Erkennung auf Mobilgeräten vs. Desktop

Im Jahr 2021 gab Google ein Update darüber heraus, wie es Soft 404s auf Mobiltelefonen und Desktop-Geräten erkennt.

Es stellte sich heraus, dass der Status möglicherweise für die mobile und die Desktop-Version unterschiedlich vergeben wird. Da die Google Search Console den Status jedoch basierend auf der mobilen Version meldet, wird es Ihnen nicht angezeigt, wenn nur Ihre Desktop-Version als Soft 404 gekennzeichnet ist.

Was im Wesentlichen passiert, ist, dass wir manchmal Seiten sehen, die auf Desktops wie eine 404-Seite aussehen, also sagen wir, dies ist eine weiche 404-Seite auf dem Desktop, wir müssen sie nicht indizieren. Und auf Mobilgeräten sieht es wie eine normale Seite aus, also werden wir sie dort tatsächlich indizieren.

[…] in der Search Console zeigen wir weiche 404-Fehler, aber wir zeigen sie für die mobile Version. Wenn also auf der mobilen Version von Ihrer Seite aus alles in Ordnung ist, dann sieht es in der Search Console so aus, als wäre es normal indiziert […], während Sie auf dem Desktop, wenn wir es dort als Soft 404 sehen, nicht in der Lage sein werden sehen Sie das direkt in der Search Console.

Quelle: Johannes Müller

Was kann einen Soft 404 verursachen und wie kann man ihn beheben?

Es gibt verschiedene Gründe, warum Google eine Seite als Soft 404 klassifiziert, darunter:

• 404-Seite, die mit einem 200-HTTP-Statuscode antwortet,
• Irrelevante Weiterleitungen,
• Seiten mit wenig oder keinem Inhalt,
• Seiten mit 404-ähnlichen Wörtern,
• Probleme beim Rendern.

404-Seite, die mit einem HTTP-Statuscode 200 antwortet

Wenn eine Seite tatsächlich eine 404-Seite ist, aber einen 200-HTTP-Statuscode zurückgibt, wird Google sie als Soft 404 klassifizieren.

Dies sollten Sie besonders beachten, wenn Sie eine benutzerdefinierte 404-Seite haben.  

Eine benutzerdefinierte 404-Seite kann für Ihre Benutzer hilfreich sein und es ihnen ermöglichen, die Website zu erkunden, obwohl die Seite, die sie erreichen wollten, nicht existiert. Es ist jedoch nicht ungewöhnlich, dass diese Seiten den HTTP-Statuscode 200 zurückgeben.

Sie sollten diese Situation vermeiden, da Google diese Seiten weiterhin crawlt, wodurch Ihr Crawl-Budget verschwendet wird.

Die Lösung für dieses Problem besteht darin , Ihren Server so zu konfigurieren, dass er den korrekten Statuscode für nicht vorhandene Seiten zurückgibt (404 Not Found).  

Irrelevante Weiterleitungen

Das Weiterleiten auf eine irrelevante Seite ist eine schlechte Vorgehensweise, die Benutzer verwirren könnte. Wenn Google also feststellt, dass eine Weiterleitung auf eine nicht verwandte Seite verweist, folgt die Suchmaschine ihr möglicherweise nicht und behandelt die Seite als Soft 404.

Ja, es ist keine großartige Vorgehensweise (verwirrt die Benutzer), und wir behandeln sie sowieso meistens als 404er (sie sind Soft-404er), also gibt es keinen Vorteil. Es ist nicht kritisch kaputt/schlecht, aber zusätzliche Komplexität ohne triftigen Grund – erstelle stattdessen eine bessere 404-Seite.

– John (@JohnMu) 8. Januar 2019

Um das Problem zu lösen, leiten Sie immer auf relevante Seiten weiter.  

Betrachten Sie den Inhalt aus der Perspektive der Benutzer. Wenn ein Benutzer beispielsweise nach etwas Bestimmtem gesucht hat, wäre es sinnvoll, dass er auf der Seite landet, auf die Sie umleiten? Ist es thematisch relevant? Wenn nicht, gibt es vielleicht eine bessere Seite, die ihre Absicht erfüllen könnte, oder vielleicht sollten Sie eine 404-Seite anstelle einer Weiterleitung einrichten.

Seiten mit wenig oder keinem Inhalt

Wenig oder kein Inhalt auf einer Seite kann Google dazu bringen, die Seite für leer zu halten und sie als Soft 404 zu klassifizieren.

Ein Beispiel kann eine E-Commerce-Website sein, auf der Produkte häufig ein- und ausverkauft werden, was zu leeren Produktkategorien führt.

Die Lösung dieses Problems ist nicht so einfach wie in den beiden vorherigen Fällen.

Eine Möglichkeit, dieses Problem zu lösen, besteht darin, die Indizierung leerer Seiten zu blockieren. Schließlich ist eine leere Seite für Ihre Benutzer nicht hilfreich und sollte nicht indiziert werden. Sie können dies tun, indem Sie ein noindex-Meta-Tag hinzufügen (ein HTML-Tag, das Suchmaschinen mitteilt, dass Sie nicht möchten, dass diese Seite indiziert wird).

Außerdem lohnt es sich, die Struktur Ihrer gesamten Website zu überdenken.

Haben Sie viele Produktkategorien, die beispielsweise nur ein Produkt haben? Wenn das der Fall ist, sollten Sie noch einmal überlegen, ob diese Kategorien auf Ihrer Website überhaupt benötigt werden. Seiten wie diese können als Thin Content angesehen werden und können Ihre Website auf zwei Arten negativ beeinflussen:

• Sie können Ihr Crawl-Budget verschwenden und
• Wenn Sie viele indexierbare Seiten von geringer Qualität haben, könnte Google denken, dass Ihrer gesamten Website die Qualität fehlt, und beschließen, Ihre Website nicht mehr so ​​​​oft zu crawlen.

Wenn Sie mehr darüber erfahren möchten, welche Seiten indexiert werden sollten und welche nicht, lesen Sie unseren Artikel zum Erstellen einer Indexierungsstrategie für Ihre Website.

Seiten mit 404-ähnlichen Wörtern

Manchmal identifizieren die Algorithmen von Google eine Seite falsch, wenn sie Wörter enthält, die normalerweise auf einer 404-Seite erscheinen. Dies kann beispielsweise auf E-Commerce-Websites vorkommen, wenn auf einer Produktseite Begriffe wie „nicht auf Lager“, „Produkt nicht verfügbar“ oder „wir liefern nicht an Ihren Standort“ verwendet werden.

Auf allen Kategorieseiten stand „Entschuldigung, wir liefern nicht an diesen Ort“. Dies wurde Kunden angezeigt, die einen PIN-Code eingaben, an den wir nicht liefern, der aber standardmäßig Teil der Seite war. Dieser Text wurde von der Seite entfernt und das Soft 404 behoben! #seo @JohnMu @methode @rustybrick https://t.co/j3UEsXXb3U

— Nikhil Raj. R (@nikhilrajr) 30. Dezember 2021

Der Autor des obigen Beitrags hat das Problem behoben, indem er einfach die Wörter gelöscht hat, die angeben, dass die Lieferung nicht verfügbar ist.

Rendering-Problem

Das Rendern ist ein notwendiger Schritt, damit Google Ihre Inhalte sehen kann. Wenn die Suchmaschine sie nicht sehen kann, könnte sie denken, dass die Seite leer ist, und sie als Soft 404 klassifizieren.

Eine der Ursachen für Rendering-Probleme ist das Blockieren von Ressourcen wie CSS oder JavaScript in robots.txt. Robots.txt ist eine Datei, mit der Sie festlegen können, welche Seiten von Suchmaschinen-Bots gecrawlt werden können und welche nicht. Wenn Google nicht auf die zum Rendern erforderlichen Ressourcen zugreifen kann, kann es den Inhalt nicht sehen.

Um herauszufinden, ob Google Ihre Inhalte korrekt wiedergibt, verwenden Sie das URL-Prüftool in der Google Search Console. Sie können einzelne URLs überprüfen und sehen, wie Google Ihre Seiten sieht. Wenn der Inhalt fehlt, weist dies auf ein Rendering-Problem hin.

Um das Problem zu beheben, stellen Sie sicher, dass Google Zugriff auf die zum Rendern erforderlichen Ressourcen hat. Überprüfen Sie Ihre robots.txt-Datei und vergewissern Sie sich, dass das Crawlen von CSS und JavaScript zulässig ist.

Wenn Sie mehr darüber erfahren möchten, wie Rendering funktioniert, lesen Sie unser Manifest für Rendering-SEO – warum JavaScript-SEO nicht ausreicht.

Einpacken

Die Überwachung von Soft 404-Fehlern ist wichtig, um sicherzustellen, dass sie Ihrer Website nicht schaden, indem sie Ihr Crawl-Budget verschwenden oder wertvolle Seiten aus dem Index ausschließen.

Hier sind die wichtigsten Erkenntnisse aus dem Artikel, die Ihnen helfen sollen, Soft 404-Fehler zu vermeiden:

• Wenn eine Seite nicht vorhanden ist, stellen Sie sicher, dass sie den HTTP-Statuscode 404 zurückgibt,
• Stellen Sie beim Erstellen einer Weiterleitung immer sicher, dass Sie zu relevanten Inhalten weiterleiten,
• Blockieren Sie keine für das Rendern wesentlichen Ressourcen wie CSS- oder JavaScript-Dateien in Ihrer robots.txt,
• Wenn Sie leere Seiten haben, fügen Sie das noindex-Meta-Tag hinzu oder entfernen Sie diese Seiten von Ihrer Website.
• Achten Sie darauf, 404-ähnliche Ausdrücke zu verwenden. Wenn Sie bemerken, dass Ihre Seite, z. B. mit einem nicht vorrätigen Produkt, als Soft 404 gekennzeichnet ist, versuchen Sie, die Wörter zu entfernen oder andere Begriffe zu verwenden.