Google 忘記了索引隊列中的 URL
已發表: 2021-12-21索引錯誤並非聞所未聞。 谷歌在索引編制方面一直存在問題。 無論網站的大小如何,它們都可能發生在網站所有者沒有過錯的任何人身上。 就在去年,有一個涉及移動索引和規範化的索引錯誤案例。
幾個月前,當我發現我的索引 SEO 終極指南沒有被索引時,我親身經歷了一個索引錯誤。
經過深入研究,我發現 Google 無緣無故地索引了錯誤版本的 URL。 您可以在我的文章My Ultimate Guide to Indexing SEO Not Indexed中了解有關此特定錯誤的更多信息。
今年早些時候,我發現了另一個索引錯誤,表明 Google 可能會丟失索引隊列中的 URL。
讓我們一步一步地分解它。
Google 的索引隊列中被遺忘的 URL
10 月 6 日,我們發表了一篇文章:渲染 SEO:Google 如何消化您的內容。 這篇文章是 Onely 的 Bartosz Goralewicz、Google 的 Martin Splitt 和 Kalicube 的 Jason Barnard 之間的對話記錄。
不幸的是,自發表之日起的三週內,這篇文章並沒有從谷歌獲得任何流量。

我覺得很奇怪——另一篇沒有被谷歌索引的有趣文章? 谷歌是否遭受另一個索引錯誤?
由於我努力了解谷歌索引過程的來龍去脈,我決定進行一些調查。
我檢查了 Google Search Console 對這個 URL 的評價。
GSC 表示該 URL 已“被發現 - 目前未編入索引”。

當您查看 Google 的文檔時,您會發現以下狀態說明:
已發現 - 當前未編入索引:該頁面已被 Google 找到,但尚未被抓取。來源:谷歌
URL 的狀態似乎極不可能。 我不敢相信谷歌在一個相對較小的網站上發布後三週內沒有抓取這個頁面。
所以,我檢查了我們的服務器日誌。
服務器日誌允許您檢查進入您網站的流量。 它們包含有關每個請求的信息,包括其時間和日期、用戶代理字符串、IP 地址等。多虧了這些信息,我可以看到 Googlebot 是否(以及何時)出現在此頁面上。

令人驚訝的是,我發現Googlebot 在我們發表文章的那天訪問了該頁面!
在這一點上,我有兩個重要的信息:
- Googlebot 尚未訪問該頁面的來自 Google Search Console 的數據不正確。 服務器日誌證明Googlebot在文章發表當天訪問了該 URL 。
- 這不僅僅是來自 Google Search Console 的報告錯誤。 該頁面沒有獲得任何自然流量,因此顯然存在比報告中的錯誤更重要的問題。
更多網站遭受 Google 的索引錯誤
我想更多地了解這個錯誤及其規模,因此我研究了更大的網站樣本以得出可行的結論。
我從其他四個網站收集了服務器日誌並挖掘了數據。
事實證明,我檢查過的網站 100% 都存在這個問題。 Googlebot 訪問了多個 URL ,但被 Google Search Console 錯誤分類為:
- 已發現 - 當前未編入索引,或
- 未知。
在未知狀態的情況下,谷歌似乎表示它從未訪問過該頁面,甚至沒有發現該 URL 的記憶。

我發現這個問題在谷歌最初訪問它的 6 個月後就出現在其中一個測試頁面上。 根據服務器日誌,上次訪問是在 3 月 7 日,但在 10 月 27 日,狀態仍然是 Unknown。
谷歌似乎偶爾會在索引管道中的某個時刻忘記 URL。 目前尚不清楚搜索引擎是否只是丟失了某些 URL 或故意忽略它們。
無論哪種方式,後果都很嚴重。 被遺忘的頁面沒有任何自然流量。
該錯誤的可能解決方案
Dan Shure 分享了一個與忘記 URL 錯誤相關的有趣案例。
“已發現——但目前未編入索引”能否將 URL 放入某種“黑名單”中?
以為我會分享一些發生在客戶的一些博客文章中的奇怪而有趣的事情。
(1/5) (我討厭做線程,但這需要一點細節)
— 丹舒爾 (@dan_shure) 2021 年 11 月 8 日
似乎更改 URL 足以解決問題。
Dan Shure 並不是唯一測試此解決方案的人。 Frank Olivo 幾乎 ⅓ 的文章通過更改 URL 被編入索引!
這適用於我們嘗試過的 38 篇文章中的 12 篇。 在我們重新發布的同一天全部編入索引。 將近一個月後,剩下的文章仍然被“發現”。
- 弗蘭克奧利沃(@FrancoOlivo)2021 年 12 月 7 日
這些 URL 可能屬於低質量 URL 的模式,因此 Google 沒有抓取它們,因此在 Google Search Console 中將它們歸類為“已發現 - 當前未編入索引”。
您可能會說服 Google 將該頁面視為新頁面,然後通過更改 URL 再次對其進行抓取。 此解決方案可能有助於將頁面編入索引,但這只是一種解決方法。 它不會阻止問題再次發生。 谷歌應該解決這個問題,並且這個錯誤應該被永久修復。
包起來
如文章中所述,索引存在嚴重問題。 它不像以前的索引錯誤(例如,與規範化有關)那麼明顯和壯觀,但它仍然會對任何網站產生負面影響。
如果您是 Google 員工並想調查此問題,我可以分享一些遭受此問題的示例 URL。
您是否注意到您網站上的此錯誤或類似的索引錯誤? 讓我知道!
