什麼是 SEO 中的軟 404?

已發表: 2022-02-17

Soft 404 不是官方的 HTTP 狀態代碼,而是一種高級算法,可以幫助Google 檢測頁面是否不存在(或幾乎沒有內容) ,即使 HTTP 狀態代碼沒有表明它也是如此。  

但是,該算法並不完美,Google 在對頁面進行分類時可能會出錯。

無論軟 404 的原因是什麼,它們都會對您的網站產生負面影響並降低您在自然搜索中的知名度。

從本文中,您將了解軟 404 對您的網站的影響、可能導致它們的原因以及您可以採取哪些措施來修復它們。

內容隱藏
1什麼是軟404?
2軟 404 如何影響您的網站
3如何檢測軟 404?
3.1移動端與桌面端的軟 404 檢測
4什麼會導致軟 404 以及如何修復它
4.1 404 頁面以 200 HTTP 狀態碼響應
4.2不相關的重定向
4.3內容很少或沒有內容的頁面
4.4包含類似 404 詞的頁面
4.5渲染問題
5總結

什麼是軟404?

服務器通過 HTTP 狀態代碼與客戶端(例如,瀏覽器或搜索引擎機器人)進行通信。

如果頁面請求成功,服務器返回 200 HTTP 狀態碼。 如果頁面丟失,服務器會以 404(未找到)狀態響應。

當用戶請求一個不存在的頁面時,他們會在瀏覽器中看到一條消息,指出出現了問題。 但是,瀏覽器顯示的消息並不總是與 HTTP 狀態代碼相對應。

這就是軟 404 發揮作用的地方。

Soft 404 是谷歌在頁面看起來不存在時給出的一個標籤,同時它返回一個成功的 200 HTTP 狀態碼。

如果谷歌決定一個頁面是軟 404,它會減慢它的抓取速度。

如果我們將其 [a page] 視為軟 404,它將類似於 404,並且我們會減慢對該特定 URL 的抓取,因為這裡沒有任何內容——為什麼我們必須每天抓取它?
資料來源:約翰·穆勒

從搜索引擎的角度來看,檢測軟 404 是必不可少的,原因有兩個:

  1. 谷歌資源有限。 網絡無限大,根本不可能爬取所有頁面。 這就是為什麼谷歌需要優先考慮並選擇哪些頁面值得抓取。 省略軟 404 可以讓它專注於更有價值的頁面,從而提高其抓取效率。
  2. 谷歌希望向用戶展示高質量的頁面。 如果 Google 懷疑某個頁面不存在,那麼很明顯沒有人想找到它,並且它不應該出現在搜索結果頁面上。

Soft 404 如何影響您的網站

您網站的後果可能因 Google 歸類為軟 404 的頁麵類型而異。

如果 Google 是正確的並且該頁面確實不存在,那麼主要後果就是浪費您的抓取預算

您的抓取預算表示 Google 可以並希望在您的網站上抓取的頁面數量。 例如,如果您有 100,000 個頁面,並且您的抓取預算允許抓取 50,000 個,那麼確保將預算用於有價值的頁面至關重要。 如果 Google 將您的抓取預算浪費在抓取軟 404 上,那麼對您來說最重要並為您帶來流量的頁面可能就不夠用了。

硬幣的另一面是當谷歌在分配狀態時出錯並認為有價值的頁面是軟404。在這種情況下,頁面不會被索引,也不會帶來自然流量。

如何檢測軟 404?

您可以在 Google Search Console 的Index Coverage 報告中查看 Google 將哪些頁面報告為軟 404。

通過單擊側邊欄上的“覆蓋範圍”選項訪問報告。

指數覆蓋率報告截圖

如果 Google 認為某個頁面是軟 404,它可以為其分配以下兩種狀態之一:

  • 軟 404(排除類別),或
  • 提交的 URL 似乎是軟 404(錯誤類別)。

這些狀態之間的唯一區別是 Google 發現 URL 的方式。

在“提交的 URL 似乎是軟 404”狀態的情況下,谷歌在你的站點地圖中找到了它(由網站所有者創建的文本文件,應該只列出你想要被索引的頁面)。 同時,在“軟 404”狀態的情況下,谷歌自己找到了這個 URL。

您可以通過單擊這些狀態中的任何一個來查看報告軟 404 的各個 URL 的列表。 此數據可用於導出,但有 1,000 個 URL 限制。 如果您想導出更多並擁有多個站點地圖,您可以分別下載每個站點地圖的 URL。

索引覆蓋率報告不是您可以查看 URL 狀態的唯一位置。

Google Search Console 中URL 檢查工具中,您可以仔細檢查各個 URL。 如果您想檢查多個 URL,您可以使用URL Inspection API並一次檢查多達 2,000 個 URL。

如果您發現索引覆蓋率報告和 URL 檢查工具中的狀態存在差異,則可能只是索引覆蓋率報告出現延遲。 在這種情況下,請相信 URL 檢查工具,因為它會顯示更新的數據。

移動設備與桌面設備上的軟 404 檢測

2021 年,谷歌更新了它如何檢測手機和桌面設備上軟 404

事實證明,移動版和桌面版的狀態分配可能不同。 但是,由於 Google Search Console 會根據移動版本報告狀態,因此如果只有桌面版本被標記為軟 404,它不會向您顯示。

本質上,發生的情況是有時我們在桌面上看到的頁面看起來像 404 頁面,所以我們說這是桌面上的軟 404,我們不需要對其進行索引。 在移動設備上,它看起來像一個普通頁面,所以我們實際上會在那裡對其進行索引。

[...]在 Search Console 中,我們確實顯示了軟 404,但我們在移動版本中顯示了它。 因此,如果在移動版上一切正常,那麼在 Search Console 中,它看起來會正常編入索引 [...],而對於桌面版,如果我們將其視為軟 404,您將無法直接在 Search Console 中查看。

資料來源:約翰·穆勒

什麼會導致軟 404 以及如何修復它

Google 可能將頁面歸類為軟 404 有幾個不同的原因,包括:

  • 404 頁面響應 200 HTTP 狀態代碼,
  • 不相關的重定向,
  • 很少或沒有內容的頁面,
  • 包含類似 404 字詞的頁面,
  • 渲染問題。

404 頁面響應 200 HTTP 狀態代碼

如果一個頁面實際上是一個 404 頁面,但它返回 200 HTTP 狀態碼,Google 會將其歸類為軟 404。

如果您有自定義 404 頁面,則需要特別注意這一點。  

自定義 404 頁面對您的用戶很有幫助,即使他們試圖訪問的頁面不存在,他們也可以瀏覽網站。 但是,這些頁面返回 200 HTTP 狀態代碼的情況並不少見。

您應該避免這種情況,因為 Google 會繼續抓取這些頁面,這會浪費您的抓取預算。

此問題的解決方案是將您的服務器配置為為不存在的頁面返回正確的狀態代碼(404 Not Found)。  

不相關的重定向

重定向到不相關的頁面是一種不好的做法,可能會使用戶感到困惑。 這就是為什麼如果 Google 檢測到重定向指向一個不相關的頁面,搜索引擎可能不會跟隨它並將該頁面視為軟 404。

要解決此問題,請始終重定向到相關頁面。  

從用戶的角度看內容。 例如,如果用戶正在尋找特定的東西,那麼他們最終會出現在您要重定向到的頁面上嗎? 它與主題相關嗎? 如果沒有,也許有更好的頁面可以回答他們的意圖,或者您應該設置一個 404 頁面而不是重定向。

內容很少或沒有內容的頁面

頁面上的內容很少或沒有內容可能會使 Google 認為該頁面是空的,並將其歸類為軟 404。

一個例子可以是一個電子商務網站,其產品經常進出庫存,導致產品類別為空。

這個問題的解決方案並不像前兩個案例那樣簡單。

處理該問題的一種方法是阻止空頁的索引。 畢竟,如果它是一個空頁面,它對你的用戶沒有幫助,也不應該被索引。 您可以通過添加一個noindex 元標記(一個告訴搜索引擎您不希望該頁面被索引的 HTML 標記)來做到這一點。

此外,值得重新考慮整個網站的結構。

您是否有很多產品類別,例如只有一種產品? 如果是這種情況,您應該重新考慮您的網站是否需要這些類別。 像這樣的頁面可能被認為是稀薄的內容,它們會以兩種方式對您的網站產生負面影響:

  • 他們可能會浪費您的抓取預算,並且
  • 如果您有很多低質量、可索引的頁面,Google 可能會認為您的整個網站缺乏質量,並決定停止經常抓取您的網站。

如果您想詳細了解哪些頁面應該和不應該被索引,請閱讀我們關於為您的網站創建索引策略的文章。

包含類似 404 字詞的頁面

有時,如果某個頁麵包含通常出現在 404 頁面上的字詞,則 Google 的算法會錯誤地識別該頁面。 例如,當產品頁面使用“缺貨”、“產品不可用”或“我們不送貨到您的位置”等術語時,它可能會發生在電子商務網站上。

上述帖子的作者通過簡單地刪除表示無法交付的文字來解決問題。

渲染問題

渲染是 Google 看到您的內容的必要步驟。 如果搜索引擎看不到它,它可能會認為該頁面是空的,並將其歸類為軟 404。

呈現問題的原因之一是在robots.txt 中阻塞了 CSS 或 JavaScript 等資源。 Robots.txt 是一個文件,可讓您指定搜索引擎機器人可以抓取哪些頁面,哪些不能。 如果 Google 無法訪問渲染所需的資源,它將無法看到內容。

要了解 Google 是否正確呈現您的內容,請使用 Google Search Console 中的 URL 檢查工具。 您可以檢查各個網址並了解 Google 如何查看您的網頁。 如果內容丟失,則表明存在渲染問題。

要解決此問題,請確保 Google 有權訪問渲染所需的資源。 檢查您的 robots.txt 文件並確保允許抓取 CSS 和 JavaScript。

如果您想了解有關渲染如何工作的更多信息,請查看我們的渲染 SEO 宣言——為什麼 JavaScript SEO 還不夠。

包起來

監控軟 404 非常重要,可確保它們不會因浪費您的抓取預算或將有價值的頁面排除在索引之外而損害您的網站。

以下是本文的主要內容,可幫助您避免軟 404:

  • 如果頁面不存在,請確保它返回 404 HTTP 狀態代碼,
  • 創建重定向時,請始終確保您重定向到相關內容,
  • 不要在 robots.txt 中阻止渲染所必需的資源,例如 CSS 或 JavaScript 文件,
  • 如果您有空頁面,請添加 noindex 元標記或從您的站點中刪除這些頁面,
  • 注意使用類似 404 的短語。 如果您注意到您的頁面(例如缺貨產品)被標記為軟 404,請嘗試刪除這些字詞或使用不同的術語。