搜索引擎无法发现和索引网络上的每个页面——他们需要在这方面做出选择。 而且，尽管所有搜索引擎都服务于相同的目的，但它们使用不同的标准来索引哪些页面。

话虽如此，如果搜索引擎可以抓取和索引尽可能多的有价值的内容，这通常是一件好事——它增加了向用户展示他们正在寻找的内容的可能性。

我很好奇哪个搜索引擎——必应或谷歌——通常索引更多的内容。

这篇文章描述了我研究的不同方面，虽然我需要更多的数据来得出明确的结论，但我仍然设法收集了许多独特而有价值的见解。

以下是我发现的关于 Bing 和 Google 如何索引网页的信息。

分析索引数据：方法和结果

WordPress 网站随机样本的索引覆盖率

我研究的第一步是收集页面样本以检查其索引统计信息。

我决定一个好的起点是使用使用Yoast SEO WordPress 插件的网站样本。 选择这个插件有一个实际的原因：它将站点地图按部分划分，这可以让我分析哪些部分被索引最多。

我在builtwith.com 上找到了使用Yoast SEO 插件的网站列表，该网站报告使用给定技术或工具的网站。 我从使用 Yoast SEO 的网站列表中选择了 200 个网站的随机样本。

然后，我使用ZipTie.dev查看了这些网站的索引统计数据，得出的数据非常有趣。

Bing 比 Google 索引了更多的网页。

看看下面的图表，这些图表显示了给定站点地图类别的索引统计信息：

Bing 和 Google 的故事和新闻类别的索引覆盖范围相同。 此外，谷歌确实在指南和位置中索引了更多内容。 然而，在所有剩余的站点地图类别中，必应的索引超过了谷歌——包括重要的类别，如帖子、产品和图像。

但这是否意味着 Bing 也能够比 Google 抓取更多的页面？ 或者他们是否抓取了相似数量的内容，但在索引方面有不同的偏好？

为我们的客户样本抓取数据

为了扩展我的发现，我在Bing Webmaster Tools和Google Search Console中检查了一些客户的数据。  

这些工具显示相应搜索引擎知道的给定域的页面。

在 Google Search Console 中，我查看了出现在索引覆盖率报告中的所有已知页面，并检查了所有四种状态（错误、有效、有警告的有效和排除）的 URL 数量。

在 Bing 网站管理员工具中，在包含给定域上页面的索引数据的站点资源管理器部分中，我过滤了视图以显示所有 URL。

这向我显示了我分析的每个域的所有发现的 URL。

在比较了我在这两种工具中获得的数据后，我注意到Google 发现的页面比 Bing 多。

另一方面（假设这些发现在两个测试网站样本中是一致的），我们已经知道由 Google 和 Bing 发现的页面更有可能被 Bing 索引。

请记住，这些结果仅适用于一小部分网站，可能并不代表整个网络。

热门网站样本的索引覆盖率

我研究的第三个方面是使用 ZipTie 检查一些流行网站的索引状态，以了解 Bing 和 Google 之间的索引状态。

我了解到 Bing 比 Google 更渴望索引这些网站。 这证实了我之前对使用 YoastSEO 的 WordPress 网站样本的发现。

看看我得到的数据：

必应与谷歌索引——初步观察

基于数据，我们能说 Bing 是一个更好的搜索引擎吗？

尽管 Bing 索引了更多内容，但我们不能仅通过查看索引统计数据来指出一个赢家。 我们不知道为什么 Bing 的索引比 Google 多。

我的假设是谷歌可能比必应“更挑剔”。 索引选择是一件事并不神秘。

我们已经说了很多年了——被谷歌索引变得越来越困难。

我们还知道搜索引擎以不同的速度抓取页面。

以下是 John Mueller 关于 Googlebot 抓取网页的频率的说法：

我认为这里的难点在于我们不会一直以相同的频率抓取 URL。 所以我们每天都会抓取一些网址。 一些 URL 可能是每周一次。 每隔几个月，甚至可能每半年左右一次的其他 URL。 所以这是我们试图找到合适的平衡点，这样我们就不会超载您的服务器。 […]因此，特别是，如果您执行站点查询之类的操作，那么您有可能会看到那些每半年抓取一次的 URL。 几个月后他们仍然会在那里。 [...] 如果您认为这些 URL 真的根本不应该被编入索引，那么也许您可以备份一下，然后说，好吧，这是一个带有最后修改日期的站点地图文件，这样 Google 就会关闭并尝试加倍-检查这些比其他方法快一点。

资料来源：约翰·穆勒

我还在 Bing 的文档中发现了一些有趣的想法：

为了衡量我们的爬虫有多聪明，我们衡量了 bingbot 的抓取效率。 抓取效率是我们抓取和发现每个抓取页面的新内容的频率。 我们的抓取效率北极星是仅在内容已添加（之前未抓取的 URL）、更新（新的页面上下文或有用的出站链接）时才抓取 URL。 我们抓取重复的、未更改的内容越多，我们的抓取效率指标就越低。

来源： Bingbot 系列：最大化抓取效率”

必应在抓取网站时可能不想深入，因为这样做可能提供的价值很小，并导致其 KPI 下降。

我们知道 Bing 一直致力于提高抓取效率。 例如，Bing 试图优化静态内容的抓取，并确定可以降低许多网站的抓取频率的模式。

此外，请考虑 Google 和 Bing 如何索引随机 WordPress 网站的差异——它们要小得多。 对于非常受欢迎的网站，它们更为重要。

这让我认为，与 Bing 公开承认他们在算法中使用用户行为数据的事实相一致， Bing 非常重视对流行的网站进行索引，而对于谷歌来说，流行度不是一个因素。

介绍IndexNow

最近，Bing 通过采用IndexNow 协议更进一步。 您可以使用 IndexNow 通知 Bing 和 Yandex 新的或更新的内容。

通过我们的测试，我们发现Bing 通常会在使用 IndexNow 提交页面后的 5 秒到 5 分钟之间开始抓取页面。

IndexNow 是一项旨在提高互联网效率的举措：通过告诉搜索引擎 URL 是否已更改，网站所有者提供了一个明确的信号，帮助搜索引擎优先抓取这些 URL，从而限制探索性抓取以测试内容是否已更改的需要。改变了[…]。

我们将继续更大规模地学习和改进，并调整实施 IndexNow 的网站的抓取速度。 我们的目标是在索引、爬网负载管理和内容对搜索者的新鲜度方面为每个采用者提供最大的利益。

来源： Bing 博客，“IndexNow - 在搜索引擎中即时索引您的网页内容”

IndexNow 允许网站更快地将其内容编入索引，并使用更少的资源进行爬网。 因此，企业可以通过让他们访问最相关的信息来为他们的客户创造更好的体验。

我们创建了一个工具，可以帮助您更快、更轻松地将 URL 或站点地图提交到 IndexNow 。

至关重要的是，IndexNow 为 Bing 和 Yandex 等小型搜索引擎提供了一个从广泛的内容数据库添加到其索引的机会。 IndexNow 解决了包括谷歌在内的搜索引擎今天所面临的问题——必须抓取和呈现越来越多的内容。

时间会证明 Google 是采用 IndexNow 协议还是创建一个替代解决方案，允许网站所有者提交页面进行索引。

优化页面的抓取和索引方式

我的索引分析的另一个要点是简化搜索引擎的抓取和索引是多么重要。

首先，您需要创建和维护包含有价值 URL 的站点地图。 站点地图有助于 Bing 和 Google 发现他们应该索引的内容。

如果您未能提交优化的站点地图，搜索引擎将难以找到相关的页面并应将其编入索引。 有关设置站点地图以及要包含哪些页面的更多详细信息，请阅读我们的 XML 站点地图终极指南。

此外，您需要一个robots.txt 文件，其中包含正确的机器人指令，并在不应编入索引的页面上正确实施“noindex”标签。

包起来

为了在 Bing 和 Google 的索引中定义一个清晰的模式，我必须检查更多的网站，但我们可以从我的数据样本中获得一些想法：

• 必应索引的内容比谷歌多。
• 谷歌发现的内容比必应多，这表明谷歌在索引方面更加挑剔。 Bing 的指导原则是少爬取，专注于已添加或更新的内容。
• 必应优先考虑对流行网站进行索引，而流行度对谷歌来说不是一个因素。

我们还可以看到，内容质量和优化网站的爬取和索引是 SEO 的重要方面，不能低估或忽视。 此外，随着网络的发展和搜索引擎算法变得更加复杂，这些因素可能会继续变得至关重要。