当网站的 67% 的索引网址是分页时，抓取和 Google 搜索排名会发生什么变化？ [搜索引擎优化案例研究]
已发表: 2021-10-07
多年来，关于如何从 SEO 角度最好地处理分页，存在很多困惑和争论。 谷歌在这方面的改变并没有帮助，这导致对最佳前进道路的更多困惑。 例如，谷歌在 2019 年 3 月宣布停止支持 rel next/prev 来整合跨分页集的索引属性（并且……它意识到多年来一直如此——只是没人知道）。
这让 SEO 社区中的许多人感到震惊，并且让网站所有者和 SEO 想知道哪个是处理前进分页的最佳方式（如果需要更改！）例如，分页是否可以索引，网站所有者是否应该使用“noindex，follow”相反，还是应该将分页规范化到系列中的第一页？ 由于分页存在于许多不同类型的网站上，并且可能导致网站上出现大量额外页面，因此网站所有者和 SEO 希望尽其所能解决这种情况。
但这重要吗？ 选择错误的路径会导致严重的 SEO 问题吗？ 如果你的大部分被索引的页面都是分页的怎么办？ 这些都是很好的问题，我希望这个案例研究将根据我正在帮助进行大量分页（包括 67% 的索引页面）的客户提供至少一些答案。 是的，67%。
那么，这是否在 SEO 方面造成了大问题，谷歌是否花费了太多时间来抓取分页，以至于它缺少更新鲜、更重要的内容，并且排名受到影响（GASP）？ 让我们开始。
谷歌多年来处理分页的立场：
由于随着时间的推移，我帮助许多大型网站进行了大量分页，因此我能够看到（并体验）谷歌如何处理分页的演变。 那次经历让我写了一篇博客文章，介绍如何为 SEO 设置分页，其中包含来自 Google 的所有最新更新和公告。 还有一些更新我必须涵盖……
早在 2012 年，Google 的 Maile Ohye 就发布了一个出色的视频，介绍了提供分页时的 SEO 最佳实践。 在该视频中，Maile 解释了您可以根据内容类型设置分页的各种方法，包括将文章分成多个页面和类别分页（如电子商务零售商）。 在该视频中，她还解释了如何使用 rel next/prev 来整合分页集中的索引属性。 Maile 在该视频中绘制的蓝图成为设置分页 SEO 的基础，我经常在我的审核、帖子和演示文稿中引用该视频。
这是 Maile Ohye 2012 年视频的屏幕截图，解释了更多关于 rel next/prev 的分页。 请注意，不再支持rel next/prev 跨分页合并索引属性。 更多关于下一个：
Google Nukes rel next/prev（没有人注意到）：
正如我之前提到的，在 2019 年，谷歌对 SEO 投下了一颗炸弹，并解释说它不再支持使用 rel next/prev 来整合跨分页集的索引属性。 而且雪上加霜的是，他们还解释说多年来一直如此！ 值得注意的是，将 rel next/prev 用于可访问性目的仍然很好，但它不会对 SEO 产生影响。
正如您所猜到的那样，搜索引擎优化（尽管我认为可以公平地说我们很高兴他们告诉我们！）谷歌在检查了它的一些系统后意识到了这一点，并注意到 rel next/prev 没有被用于索引和排名目的。 哎呀。
作为一个帮助许多公司在使用分页时设置 rel next/prev 的人，最后一点让我思考……如果谷歌多年来没有使用 rel next/prev，而我一直在帮助的公司没有甚至注意到谷歌停止支持它（排名不受影响），那么也许谷歌在处理分页方面非常擅长。
换句话说，也许我们都无缘无故地变形了。 同样，我帮助的那些有很多分页的客户没有看到任何重大变动或下降，因为谷歌取消了对 rel next/prev 的支持。 这也符合谷歌的约翰穆勒已经解释了一段时间。 哎呀，他甚至在 2019 年的推文中解释了这一点。例如，他说“大多数人似乎都在以合理的方式进行分页……”接下来我将详细介绍 John 的建议。
Google 的 John Mueller 提出了关于分页的问题：
自从 Google 停止使用 rel next/prev 来整合索引属性后，Google 的 John Mueller 就被问到很多关于设置分页的最佳方式的问题。 约翰在他的搜索中心环聊视频中提供了一些很好的建议。
约翰解释说，谷歌在处理分页方面有很多经验（只要它可以轻松识别分页）。 而且由于它在处理分页方面拥有丰富的经验，因此它确实不应该对网站 SEO 产生重大影响。 它可以“工作”。
此外，John 经常解释将文章内容分成多个页面与包含分页的类别页面（列出指向其他 url 的页面）之间的区别。 这是两个非常不同的场景，如果需要，可以从分页的角度进行不同的处理。
他还解释说，对于类别分页（如电子商务类别页面），您可以让所有页面都可索引（这是更可取的），您可以使用“noindex，follow”，甚至可以规范化到第一个页面分页。 这实际上取决于您的内容的交联程度、分页对于发现、信号传递等的重要性。您可以阅读我关于分页的帖子，以查看 Google 关于此的最新更新。
这是约翰关于设置分页的最新视频之一，涵盖了我刚刚解释的大部分内容（视频中的 13:16）：
还值得注意的是，谷歌刚刚发布了一些电子商务 SEO 的优秀最佳实践（其中还介绍了如何处理分页）。 在该文档中，他们解释为分页中的每个页面提供自引用规范标签（并避免规范化到系列中的第一页）。 这意味着所有分页都应该是可索引的。
警告：细微差别！ - SEO 和网站所有者关于处理分页的两个要点：
与 SEO 中的大多数事情一样，处理分页也存在细微差别。 首先，您网站的大小很重要，因为您不希望过多的分页影响抓取预算。 正如 John 解释的那样，如果您没有数十万页（或更多），那么您真的不必担心分页会影响爬网预算。 但是，如果您确实有这么多页面，那么确保 Google 专注于抓取您最重要的页面非常重要。 这可能会导致跨站点以不同方式处理分页。 在下面的案例研究中很快就会有更多关于抓取预算的信息。
我想指出的另一件事是，我坚信每个序列不应该有过多的分页。 例如，我会避免为每个分页集提供数千页的分页（比如一个具有数千页分页的类别）。 我认为有许多分页集（如果需要）很好，但我只会提供每组合理数量的页面（这将基于您的站点、内容等）。这个数字可能因站点而异，但我不会不要让您的分页超载，每个序列有数千页。 我会为用户和搜索引擎做最好的事情。
例如，这是一个在一个类别中有近 3,700 页分页的网站……
案例研究：背景信息、分页设置和索引级别。
我在本案例研究中涉及的网站的抓取足迹约为 200K 页面（在索引和排除的 url 之间）。 我无法详细介绍客户关注的内容，但您可以将其视为一个提供有关类别、组织、产品和这些产品评论的大量信息的网站。 该网站上还有一个博客，其中包含针对其利基的深入内容。
从分页的角度来看，整个网站都有相当多的内容。 这主要是在类别、组织和评论页面上。 由于网站上有许多产品和评论没有很好地交叉链接（基于业务运作方式），因此分页对于发现（对于 Googlebot 和用户）很重要。 出于这个原因，我们绝对希望确保分页是可索引的，并且 Google 可以按照分页 URL 上的链接访问产品页面、评论页面等。
我已经帮助这家公司很长时间了，早在 2012 年就帮助他们制定分页策略。他们一直在使用 Maile Ohye 在我之前介绍的视频中描述的方法。 这就是分页中的每个页面都包含自引用规范标签的地方，包含 rel next/prev（现已弃用），并为每个页面底部的分页系列提供了强大的文本导航。 请记住，这是长期以来的推荐设置。 该网站已经设置了多年......您可以在我关于设置分页的帖子中了解有关该设置的更多信息。
索引级别：神圣的分页蝙蝠侠！
根据网站上的分页量，目前有很大比例的索引网址。 具体来说，分页占总索引页面的 67%。 是的，超过三分之二的索引网址是分页的！ 惊恐的事件！！ :)
这些不一定是我们想要在 SERP 中排名的页面（除了集合中的第一页），但我们绝对希望 Google 从分页中发现所有目标页面。 请记住，rel next/prev 应该通过合并跨分页集的索引属性和（通常）在 SERP 中显示该集的第一页来为我们解决这个问题。 正如我之前介绍的那样，它不再受支持。 更多关于排名的信息。
抓取预算和抓取统计
网站上有这么多分页页面被编入索引，抓取统计数据是什么样的？ Googlebot 是否在翻阅许多分页页面并丢失重要的、更新鲜的页面？
首先，抓取预算实际上只是大型网站需要担心的事情。 例如，谷歌表示，拥有超过 100 万个独立网址的网站或拥有 1 万个独立网址且“内容快速变化”的中型网站需要担心抓取预算。 该网站有 18.6K 网址被编入索引，并且总抓取足迹不到 200K 网址。 所以，它不是一个小网站，但也不是很大。
此外，重要的是要了解并非所有页面都以相同的频率爬网（基于重要性）。 多年来，谷歌的 John Mueller 已经多次解释了这一点。 因此，尽管网站上可能有很多分页，但这并不意味着 Google 会不断地抓取所有分页，而不是抓取您更新（或更重要）的内容。
这是约翰对此的解释（视频中的 12:42）：
该网站的新内容确实会相对较快地被抓取。 此外，检查抓取统计报告，您可以看到最近抓取的较新内容，并且分页不会压倒报告。 因此，尽管该网站有 67% 的索引页面是分页的，但从爬网预算和爬网统计数据的角度来看（在我看来）是可以的。 根据谷歌多年来对抓取预算的解释，这是有道理的。
随着时间的推移表现。 趋势看起来如何？
好的，这就是橡胶上路的地方。 有这么多的分页索引会影响排名或自然搜索性能吗？
一句话，不行。
多年来，该网站的性能一直非常稳定（并通过许多广泛的核心更新）。 他们也看到了长期的强劲增长（尤其是从 2012 年我第一次开始帮助他们时）。
以下是 GSC 过去 16 个月的趋势：
以下是过去两年的搜索可见度趋势：
以下是自 2012 年以来的搜索可见度趋势：
搜索结果中的分页排名如何（超过第一页）？ 分页页面是否出现在 SERP 中并推动流量？
不，不是。 它只占 Google 搜索流量的一小部分。 例如，在过去三个月中，Google 网络搜索的点击次数为 162 万次。 分页仅占其中的五千次点击。
在过去 3 个月中，分页仅占 Google 搜索总点击次数的 0.3%：
我认为对这个站点最重要的事情是要记住，各种“产品”页面没有从站点的其他区域充分链接（基于公司的商业模式和站点需要如何设置）。 因此，分页对于确保 Googlebot 可以访问其中许多目标网址非常重要。 这就是为什么确保分页是可索引的，它使用自引用规范等很重要的原因。
针对分页较多的网站的最终提示和建议：
所以你有它。 一个有 67% 的索引 url 是分页的网站，它在 SERP 中运行得很好。 我并不是说每个站点都应该使用这种方法，但就像 Google 的 John Mueller 多次解释的那样，Google 在处理分页方面有很多经验。 它通常很有效……在结束这篇文章时，我为处理大量分页的网站提供了一些最终提示和建议。
- 分页设置：设置方面，您可以使用多种方法来处理分页。 您选择的路径取决于您正在处理的内容类型和您的内部链接结构。 请参阅我上面关于跨多个页面与列表页面（如类别）的内容拆分的建议，以及这些目标页面在整个网站上的链接程度。
- 可索引与不可索引：重要的是要了解，如果您没有索引分页，那么随着时间的推移，这些页面上的链接可能会被 Google 删除。 因此，如果您想确保 Google 通过分页（和传递信号）找到这些目标网址，我会让分页可索引。 正如本案例研究所示，它可以很好地工作。
- 规范化分页：如果您要将所有分页规范化到该系列的第一页，请务必了解 rel canonical 只是对 Google 的提示。 如果它认为这是正确的做法，它仍然可以选择索引某些页面。 多年来，我在几篇博客文章中都谈到了这一点。 不要假设规范化的页面实际上正在被规范化。 这是我不喜欢将分页规范化到集合中的根页面的原因之一。
- 抓取统计信息和日志文件：不要只检查索引级别。 我也会检查 GSC 中的爬网统计报告（如果可以的话，还可以查看日志文件）。 正如我在这篇文章前面提到的，并非所有页面都以相同的频率进行爬网。 Google 可以根据抓取需求更频繁地抓取您网站上的某些网址。 这意味着分页可能不会像您的主页、重要类别页面、产品页面等那样被抓取。不要认为分页的高索引级别意味着存在问题。 它可能完全没问题。
- 跟踪性能：确保随着时间的推移跟踪所有这些，并确定分页是否会导致 SEO 方面的问题（我怀疑大多数情况下）。 同样，谷歌可以很好地处理分页，并且在这方面有很多经验（只要它可以轻松识别分页）。 在必要时使用分页很好（并且可能很好）。 我更担心每组分页页面的数量，而不是网站上索引的分页页面总数。 就像我之前说的，确保你的分页对用户和搜索引擎都有意义。
- Google 的建议：最后，听 Google 的 John Mueller 并阅读 Google 的文档。 谷歌在处理跨站点分页方面有很多经验，而且它通常可以“工作”。 我建议根据您自己的情况实施分页解决方案，随着时间的推移分析该设置，并确保它适合您。
摘要– 是的，您的网站可以通过大量的分页索引在 SEO 方面做得很好。
如果您正在处理整个网站的大量分页，我希望这个案例研究对您有所帮助。 我知道多年来在分页和 SEO 方面存在很多混淆，尤其是自 2019 年 Google 核对 rel next/prev 以来。正如我在这篇文章中解释的那样，Google 在处理分页方面有着悠久的历史，通常不会引起很多网站排名方面的问题（只要设置正确）。 您采用的方法实际上取决于您自己的网站、内容类型和内部链接结构。 如果你最终有很多分页索引，那就这样吧。 正如本案例研究所证明的那样，它对您来说效果很好。
GG