搜索引擎無法發現和索引網絡上的每個頁面——他們需要在這方面做出選擇。 而且，儘管所有搜索引擎都服務於相同的目的，但它們使用不同的標準來索引哪些頁面。

話雖如此，如果搜索引擎可以抓取和索引盡可能多的有價值的內容，這通常是一件好事——它增加了向用戶展示他們正在尋找的內容的可能性。

我很好奇哪個搜索引擎——必應或谷歌——通常索引更多的內容。

這篇文章描述了我研究的不同方面，雖然我需要更多的數據來得出明確的結論，但我仍然設法收集了許多獨特而有價值的見解。

以下是我發現的關於 Bing 和 Google 如何索引網頁的信息。

分析索引數據：方法和結果

WordPress 網站隨機樣本的索引覆蓋率

我研究的第一步是收集頁面樣本以檢查其索引統計信息。

我決定一個好的起點是使用使用Yoast SEO WordPress 插件的網站樣本。 選擇這個插件有一個實際的原因：它將站點地圖按部分劃分，這可以讓我分析哪些部分被索引最多。

我在builtwith.com 上找到了使用Yoast SEO 插件的網站列表，該網站報告使用給定技術或工具的網站。 我從使用 Yoast SEO 的網站列表中選擇了 200 個網站的隨機樣本。

然後，我使用ZipTie.dev查看了這些網站的索引統計數據，得出的數據非常有趣。

Bing 比 Google 索引了更多的網頁。

看看下面的圖表，這些圖表顯示了給定站點地圖類別的索引統計信息：

Bing 和 Google 的故事和新聞類別的索引覆蓋範圍相同。 此外，谷歌確實在指南和位置中索引了更多內容。 然而，在所有剩餘的站點地圖類別中，必應的索引超過了谷歌——包括重要的類別，如帖子、產品和圖像。

但這是否意味著 Bing 也能夠比 Google 抓取更多的頁面？ 或者他們是否抓取了相似數量的內容，但在索引方面有不同的偏好？

為我們的客戶樣本抓取數據

為了擴展我的發現，我在Bing Webmaster Tools和Google Search Console中檢查了一些客戶的數據。  

這些工具顯示相應搜索引擎知道的給定域的頁面。

在 Google Search Console 中，我查看了出現在索引覆蓋率報告中的所有已知頁面，並檢查了所有四種狀態（錯誤、有效、有警告的有效和排除）的 URL 數量。

在 Bing 網站管理員工具中，在包含給定域上頁面的索引數據的站點資源管理器部分中，我過濾了視圖以顯示所有 URL。

這向我顯示了我分析的每個域的所有發現的 URL。

在比較了我在這兩種工具中獲得的數據後，我注意到Google 發現的頁面比 Bing 多。

另一方面（假設這些發現在兩個測試網站樣本中是一致的），我們已經知道由 Google 和 Bing 發現的頁面更有可能被 Bing 索引。

請記住，這些結果僅適用於一小部分網站，可能並不代表整個網絡。

熱門網站樣本的索引覆蓋率

我研究的第三個方面是使用 ZipTie 檢查一些流行網站的索引狀態，以了解 Bing 和 Google 之間的索引狀態。

我了解到 Bing 比 Google 更渴望索引這些網站。 這證實了我之前對使用 YoastSEO 的 WordPress 網站樣本的發現。

看看我得到的數據：

必應與穀歌索引——初步觀察

基於數據，我們能說 Bing 是一個更好的搜索引擎嗎？

儘管 Bing 索引了更多內容，但我們不能僅通過查看索引統計數據來指出一個贏家。 我們不知道為什麼 Bing 的索引比 Google 多。

我的假設是谷歌可能比必應“更挑剔”。 索引選擇是一件事並不神秘。

我們已經說了很多年了——被谷歌索引變得越來越困難。

我們還知道搜索引擎以不同的速度抓取頁面。

以下是 John Mueller 關於 Googlebot 抓取網頁的頻率的說法：

我認為這裡的難點在於我們不會一直以相同的頻率抓取 URL。 所以我們每天都會抓取一些網址。 一些 URL 可能是每週一次。 每隔幾個月，甚至可能每半年左右一次的其他 URL。 所以這是我們試圖找到合適的平衡點，這樣我們就不會超載您的服務器。 […]因此，特別是，如果您執行站點查詢之類的操作，那麼您有可能會看到那些每半年抓取一次的 URL。 幾個月後他們仍然會在那裡。 [...] 如果您認為這些 URL 真的根本不應該被編入索引，那麼也許您可以備份一下，然後說，好吧，這是一個帶有最後修改日期的站點地圖文件，這樣 Google 就會關閉並嘗試加倍-檢查這些比其他方法快一點。

資料來源：約翰·穆勒

我還在 Bing 的文檔中發現了一些有趣的想法：

為了衡量我們的爬蟲有多聰明，我們衡量了 bingbot 的抓取效率。 抓取效率是我們抓取和發現每個抓取頁面的新內容的頻率。 我們的抓取效率北極星是僅在內容已添加（之前未抓取的 URL）、更新（新的頁面上下文或有用的出站鏈接）時才抓取 URL。 我們抓取重複的、未更改的內容越多，我們的抓取效率指標就越低。

來源： Bingbot 系列：最大化抓取效率”

必應在抓取網站時可能不想深入，因為這樣做可能提供的價值很小，並導致其 KPI 下降。

我們知道 Bing 一直致力於提高抓取效率。 例如，Bing 試圖優化靜態內容的抓取，並確定可以降低許多網站的抓取頻率的模式。

此外，請考慮 Google 和 Bing 如何索引隨機 WordPress 網站的差異——它們要小得多。 對於非常受歡迎的網站，它們更為重要。

這讓我認為，與 Bing 公開承認他們在算法中使用用戶行為數據的事實相一致， Bing 非常重視對流行的網站進行索引，而對於谷歌來說，流行度不是一個因素。

介紹IndexNow

最近，Bing 通過採用IndexNow 協議更進一步。 您可以使用 IndexNow 通知 Bing 和 Yandex 新的或更新的內容。

通過我們的測試，我們發現Bing 通常會在使用 IndexNow 提交頁面後的 5 秒到 5 分鐘之間開始抓取頁面。

IndexNow 是一項旨在提高互聯網效率的舉措：通過告訴搜索引擎 URL 是否已更改，網站所有者提供了一個明確的信號，幫助搜索引擎優先抓取這些 URL，從而限制探索性抓取以測試內容是否已更改的需要。改變了[…]。

我們將繼續更大規模地學習和改進，並調整實施 IndexNow 的網站的抓取速度。 我們的目標是在索引、爬網負載管理和內容對搜索者的新鮮度方面為每個採用者提供最大的利益。

來源： Bing 博客，“IndexNow - 在搜索引擎中即時索引您的網頁內容”

IndexNow 允許網站更快地將其內容編入索引，並使用更少的資源進行爬網。 因此，企業可以通過讓他們訪問最相關的信息來為他們的客戶創造更好的體驗。

我們創建了一個工具，可以幫助您更快、更輕鬆地將 URL 或站點地圖提交到 IndexNow 。

至關重要的是，IndexNow 為 Bing 和 Yandex 等小型搜索引擎提供了一個從廣泛的內容數據庫添加到其索引的機會。 IndexNow 解決了包括谷歌在內的搜索引擎今天所面臨的問題——必須抓取和呈現越來越多的內容。

時間會證明 Google 是採用 IndexNow 協議還是創建一個替代解決方案，允許網站所有者提交頁面進行索引。

優化頁面的抓取和索引方式

我的索引分析的另一個要點是簡化搜索引擎的抓取和索引是多麼重要。

首先，您需要創建和維護包含有價值 URL 的站點地圖。 站點地圖有助於 Bing 和 Google 發現他們應該索引的內容。

如果您未能提交優化的站點地圖，搜索引擎將難以找到相關的頁面並應將其編入索引。 有關設置站點地圖以及要包含哪些頁面的更多詳細信息，請閱讀我們的 XML 站點地圖終極指南。

此外，您需要一個robots.txt 文件，其中包含正確的機器人指令，並在不應編入索引的頁面上正確實施“noindex”標籤。

包起來

為了在 Bing 和 Google 的索引中定義一個清晰的模式，我必須檢查更多的網站，但我們可以從我的數據樣本中獲得一些想法：

• 必應索引的內容比谷歌多。
• 谷歌發現的內容比必應多，這表明谷歌在索引方面更加挑剔。 Bing 的指導原則是少爬取，專注於已添加或更新的內容。
• 必應優先考慮對流行網站進行索引，而流行度對谷歌來說不是一個因素。

我們還可以看到，內容質量和優化網站的爬取和索引是 SEO 的重要方面，不能低估或忽視。 此外，隨著網絡的發展和搜索引擎算法變得更加複雜，這些因素可能會繼續變得至關重要。