Что происходит со сканированием и ранжированием в поиске Google, когда 67% проиндексированных URL-адресов сайта являются нумерацией страниц? [Пример SEO]

На протяжении многих лет было много путаницы и споров о том, как лучше всего обрабатывать пагинацию с точки зрения SEO. Не помогает и то, что Google изменился на этом фронте, что привело к еще большей путанице в отношении наилучшего пути вперед. Например, в марте 2019 года Google объявил, что прекратил поддержку rel next/prev для консолидации свойств индексации из набора с разбивкой на страницы (и… он понял, что так было в течение многих лет — просто никто не знал).

Это шокировало многих в SEO-сообществе и заставило владельцев сайтов и SEO-специалистов задаться вопросом, как лучше работать с нумерацией страниц в будущем (если изменения вообще нужны!) Например, должна ли нумерация страниц быть индексируемой, если владельцы сайтов используют «noindex, follow» вместо этого, или они должны просто канонизировать нумерацию страниц до первой страницы в серии? Поскольку нумерация страниц присутствует на многих различных типах сайтов и может привести к большому количеству дополнительных страниц на сайте, владельцы сайтов и SEO-специалисты хотели исправить ситуацию как можно лучше.

Но так ли это важно? Приведет ли выбор неправильного пути к серьезным проблемам с точки зрения SEO? А что, если большинство ваших проиндексированных страниц разбиты на страницы? Все это хорошие вопросы, и я надеюсь, что это тематическое исследование даст по крайней мере несколько ответов, основанных на клиенте, которому я помогаю с большим количеством страниц (составляющим 67% проиндексированных страниц). Да, 67%.

Итак, вызвало ли это большие проблемы с точки зрения SEO, не тратит ли Google слишком много времени на сканирование разбивки на страницы, что ему не хватает более свежего и важного контента, и влияет ли это на ранжирование (GASP)?? Давай начнем.

Позиция Google в отношении нумерации страниц на протяжении многих лет:
Поскольку со временем я помог многим крупным сайтам с большим количеством страниц, я смог увидеть (и испытать) эволюцию того, как Google обрабатывает эту разбивку на страницы. Этот опыт привел меня к написанию сообщения в блоге о том, как настроить разбиение на страницы для SEO, которое содержит все последние обновления и объявления от Google. И есть несколько обновлений, которые я должен был осветить…

Еще в 2012 году Мэйл Ойе из Google опубликовала выдающееся видео, в котором рассказывается о передовых методах SEO при разбивке на страницы. В этом видео Мейл объяснил различные способы настройки разбивки на страницы в зависимости от типа контента, включая статьи, разбитые на несколько страниц, и разбивку по категориям (например, для интернет-магазинов). В этом видео она также объяснила, как использовать rel next/prev для консолидации свойств индексирования из набора с разбивкой на страницы. План, который Мейл наметил в этом видео, стал основой для настройки разбиения на страницы с точки зрения SEO, и я часто ссылался на это видео в своих проверках, сообщениях и презентациях.

Вот скриншот из видео Мэйл Ойе от 2012 года, объясняющего больше о rel next/prev для нумерации страниц. Обратите внимание, что rel next/prev больше не поддерживается для консолидации свойств индексации при разбиении на страницы. Подробнее об этом далее:

Google Nukes rel next/prev (и никто не заметил):
Как я упоминал ранее, в 2019 году Google сбросил бомбу на SEO-специалистов и объяснил, что больше не поддерживает использование rel next/prev для консолидации свойств индексации из набора с разбивкой на страницы. И чтобы добавить оскорбление к травме, они также объяснили, что это имело место в течение многих лет ! Стоит отметить, что по-прежнему полезно использовать rel next/prev для целей доступности, но это не повлияет на SEO.

Как вы можете догадаться, SEO-специалисты пришли в бешенство (хотя я думаю, будет справедливо сказать, что мы рады, что они нам сказали!) Google понял это после проверки некоторых своих систем и заметил, что rel next/prev не используется для индексации и целей ранжирования. Упс.

Как человек, который помог многим компаниям настроить rel next/prev при использовании нумерации страниц, последний пункт заставил меня задуматься… Если бы Google не использовал rel next/prev в течение многих лет, а компании, которым я помогаю, не даже обратите внимание, что Google прекратил его поддержку (рейтинги не пострадали), тогда, возможно, Google был чертовски хорош в обработке нумерации страниц.

Другими словами, возможно, мы теряли форму без всякой причины. Опять же, клиенты, которым я помогал, у которых было много страниц, не видели каких-либо серьезных изменений или падений из-за того, что Google удалил поддержку rel next/prev. И это также соответствует тому, что некоторое время объяснял Джон Мюллер из Google. Черт возьми, он даже объяснил это в ветке твитов от 2019 года. Например, он сказал, что «большинство, похоже, делают разбивку на страницы разумными способами, которые работают…». Далее я расскажу больше о рекомендациях Джона.

Джон Мюллер из Google засыпан вопросами о нумерации страниц:
С тех пор, как Google перестал использовать rel next/prev для консолидации свойств индексации, Джону Мюллеру из Google задавали много вопросов о том, как лучше всего настроить нумерацию страниц. И Джон дал несколько отличных советов в своих видеороликах Search Central Hangout.

Джон объяснил, что Google имеет большой опыт работы с нумерацией страниц (при условии, что он может легко идентифицировать пагинацию). А поскольку у него большой опыт работы с нумерацией страниц, это действительно не должно иметь большого влияния на сайт с точки зрения SEO. Он может просто «работать».

Кроме того, Джон часто объясняет разницу между разделением содержания статьи на несколько страниц и наличием страниц категорий, которые содержат разбивку на страницы (страницы со списком, которые ведут к другим URL-адресам). Это два очень разных сценария, и при необходимости их можно обрабатывать по-разному с точки зрения разбивки на страницы.

Он также объяснил, что для разбиения на страницы категорий (например, страницы категорий электронной коммерции) вы можете сделать все страницы индексируемыми (что предпочтительнее), вы можете использовать «без индекса, подписки» или вы даже можете канонизировать до первой страницы в нумерация страниц. Это действительно зависит от того, насколько хорошо ваш контент связан, насколько важна нумерация страниц для обнаружения, передачи сигналов и т. д. Вы можете прочитать мой пост о нумерации страниц, чтобы увидеть последние обновления от Google по этому поводу.

Вот одно из последних видео Джона о настройке нумерации страниц, охватывающее большую часть того, что я только что объяснил (на 13:16 видео):

Также стоит отметить, что Google только что опубликовал некоторые выдающиеся передовые методы SEO для электронной коммерции (где они также рассказывают, как обрабатывать нумерацию страниц). В этом документе они объясняют, что для каждой страницы в разбиении на страницы необходимо использовать самоссылающиеся канонические теги (и избегать канонизации до первой страницы в серии). Это означает, что все страницы должны быть индексируемыми.

Внимание: впереди нюансы! -Два важных момента для SEO-специалистов и владельцев сайтов об управлении разбивкой на страницы:
Как и в большинстве вещей в SEO, есть нюансы, связанные с обработкой пагинации. Во-первых, размер вашего сайта важен, так как вы не хотите, чтобы слишком большое количество страниц препятствовало краулинговому бюджету. Как объяснил Джон, если у вас нет сотен тысяч страниц (или больше), вам не стоит беспокоиться о том, что нумерация страниц повлияет на краулинговый бюджет. Но если у вас так много страниц, важно убедиться, что Google фокусирует сканирование на ваших самых важных страницах. И это может привести к тому, что нумерация страниц будет обрабатываться по-разному на сайте. Подробнее о краулинговом бюджете в приведенном ниже тематическом исследовании.

Еще одна вещь, которую я хотел отметить, это то, что я твердо верю, что у вас не должно быть чрезмерного количества страниц для каждой последовательности. Например, я бы не стал предоставлять тысячи страниц разбиения на страницы для каждого набора страниц (например, одна категория с тысячами страниц разбивки на страницы). Я думаю, что хорошо иметь много наборов страниц с разбивкой на страницы (если это необходимо), но я бы предоставил только разумное количество страниц в наборе (которое будет основано на вашем сайте, содержании и т. д.). Это число может варьироваться в зависимости от сайта, но я бы не перегружайте пагинацию тысячами страниц на последовательность. Я бы сделал то, что лучше для пользователей и поисковых систем.

Например, вот сайт с почти 3700 страницами страниц в одной категории…

Практический пример: справочная информация, настройка разбивки на страницы и уровни индексации.
Сайт, который я рассматриваю в этом примере, сканирует около 200 000 страниц (между проиндексированными и исключенными URL-адресами). Я не могу вдаваться в подробности о том, на чем фокусируется клиент, но вы можете думать о них как о сайте, который предоставляет огромное количество информации о категориях, организациях, продуктах и ​​обзорах этих продуктов. На сайте также есть блог, содержащий подробный контент, ориентированный на их нишу.

С точки зрения нумерации страниц, на сайте их довольно много. Это в основном на страницах категории, организации и обзора. Поскольку на сайте есть много продуктов и обзоров, которые плохо связаны перекрестными ссылками (в зависимости от того, как работает бизнес), нумерация страниц важна для обнаружения (для робота Google и для пользователей). По этой причине мы определенно хотели убедиться, что нумерация страниц индексируется и что Google может переходить по ссылкам на страницах с разбивкой на страницы на страницы продуктов, страницы отзывов и т. д.

Я помогаю этой компании в течение долгого времени и помог им разработать стратегию разбивки на страницы еще в 2012 году. Они использовали подход, описанный Мэйл Ойе в видео, о котором я рассказывал ранее. Именно здесь каждая страница в разбиении на страницы содержит самоссылающиеся канонические теги, содержит rel next/prev (теперь устарело) и обеспечивает надежную текстовую навигацию к разбивке на страницы внизу каждой страницы. Помните, что это была рекомендуемая установка в течение длительного времени. Сайт настраивался годами… и вы можете узнать больше об этой настройке в моем посте о настройке разбивки на страницы.

Уровни индексации: Святая нумерация страниц Batman!
Судя по количеству страниц на сайте, в настоящее время это большой процент проиндексированных URL-адресов. Если быть точным, пагинация составляет 67% от общего числа проиндексированных страниц. Да, более двух третей проиндексированных URL-адресов имеют нумерацию страниц! Ужас!! :)

Это не обязательно страницы, которые мы хотим ранжировать в поисковой выдаче (кроме первой страницы в наборе), но мы определенно хотим, чтобы Google обнаружил все целевые страницы из разбиения на страницы. И помните, что rel next/prev должен был позаботиться об этом за нас, объединяя свойства индексирования со всего набора страниц и (обычно) отображая первую страницу из набора в поисковой выдаче. Это больше не поддерживается, как я уже говорил ранее. Подробнее о рейтингах в ближайшее время.

Бюджет сканирования и статистика сканирования
При таком количестве индексируемых страниц на сайте, как выглядит статистика сканирования? Не просматривает ли робот Googlebot множество страниц с разбивкой на страницы и пропускает важные, более свежие страницы?

Во-первых, краулинговый бюджет — это то, о чем должны беспокоиться только крупные сайты. Например, Google заявляет, что сайтам с более чем 1 млн уникальных URL-адресов или сайтам среднего размера с 10 000 уникальных URL-адресов с «быстро меняющимся контентом» нужно беспокоиться о краулинговом бюджете. Этот сайт проиндексирован 18,6 тыс. URL-адресов, а общий объем сканирования составляет менее 200 тыс. URL-адресов. Итак, это не маленький сайт, но и не огромный.

Кроме того, важно понимать, что все страницы не сканируются с одинаковой частотой (в зависимости от важности). Джон Мюллер из Google много раз объяснял этот момент на протяжении многих лет. Таким образом, хотя на сайте может быть много разбивки на страницы, это не означает, что Google будет постоянно сканировать всю эту разбивку на страницы вместо вашего более свежего (или более важного) контента.

Вот как это объясняет Джон (на видео в 12:42):

Новый контент сайта сканируется относительно быстро. Кроме того, проверяя отчеты о статистике сканирования, вы можете видеть, что в последнее время просматривается более свежий контент, а разбивка на страницы не перегружает отчеты. Таким образом, несмотря на то, что 67% проиндексированных страниц сайта разбиты на страницы, это нормально с точки зрения краулингового бюджета и статистики сканирования (на мой взгляд). Это имеет смысл, исходя из того, что Google годами объяснял о краулинговом бюджете.

Производительность с течением времени. Как выглядит тренд?
Хорошо, вот где резина отправляется в путь. Влияет ли такое количество проиндексированных страниц на ранжирование или эффективность органического поиска?

Одним словом, нет .

Производительность сайта была чрезвычайно стабильной на протяжении многих лет (и благодаря ряду крупных обновлений ядра). Они также продемонстрировали сильный рост в долгосрочной перспективе (особенно с 2012 года, когда я впервые начал им помогать).

Вот тренды GSC за последние 16 месяцев:

Вот тенденции видимости в поиске за последние два года:

А вот тренд видимости в поиске с 2012 года:

Как насчет ранжирования страниц в результатах поиска (помимо первой страницы)? Появляются ли страницы с разбивкой на страницы в поисковой выдаче и привлекают ли они трафик?
Нет, не совсем. На его долю приходится очень небольшой процент трафика из поиска Google. Например, за последние три месяца было 1,62 млн кликов из веб-поиска Google. На пагинацию пришлось всего пять тысяч из этих кликов.

На пагинацию приходится всего 0,3% от общего числа кликов из Google Поиска за последние 3 месяца:

Я думаю, самое важное, что нужно помнить для этого сайта, это то, что на различные страницы «продукта» недостаточно ссылок из других областей сайта (исходя из бизнес-модели компании и того, как сайт должен быть настроен). Таким образом, нумерация страниц важна для того, чтобы робот Googlebot мог добраться до многих из этих целевых URL-адресов. И именно поэтому важно убедиться, что нумерация страниц индексируется, что она использует канонические ссылки на себя и т. д.

Заключительные советы и рекомендации для сайтов с большим количеством страниц:
Итак, у вас есть это. Сайт, 67% проиндексированных URL-адресов которого разбиты на страницы, и он просто отлично продвигается в поисковой выдаче. Я не говорю, что этот подход должен использовать каждый сайт, но, как много раз объяснял Джон Мюллер из Google, Google имеет большой опыт работы с нумерацией страниц. Часто это просто работает… В завершение этого поста я дал несколько советов и рекомендаций для сайтов, которые имеют дело с большим количеством страниц.

• Настройка разбиения на страницы: в вашем распоряжении есть несколько методов разбивки на страницы. Выбранный вами путь зависит от типа контента, с которым вы имеете дело, и вашей внутренней структуры ссылок. См. мои рекомендации выше о контенте, разделенном на несколько страниц, по сравнению со страницами со списками (например, категориями), а также о том, насколько хорошо эти целевые страницы связаны между собой на сайте.
• Индексируемые и неиндексируемые: важно понимать, что если вы не индексируете разбиение на страницы, то ссылки на эти страницы со временем могут быть удалены Google. Поэтому, если вы хотите убедиться, что Google находит эти целевые URL-адреса через разбивку на страницы (и передачу сигналов), я бы сделал индексацию разбивки на страницы. Как показало это тематическое исследование, это может работать очень хорошо.
• Канонизация нумерации страниц: Если вы канонизируете всю нумерацию страниц до первой страницы серии, важно понимать, что rel canonical — это всего лишь подсказка для Google. Он по-прежнему может индексировать определенные страницы, если считает, что это правильно. Я освещал это в нескольких сообщениях в блоге на протяжении многих лет. Не думайте, что канонизированные страницы на самом деле канонизируются. Это одна из причин, по которой я не являюсь большим поклонником канонизации нумерации страниц до корневой страницы набора.
• Статистика сканирования и файлы журналов: не просто проверяйте уровни индексации. Я бы также проверил отчеты статистики сканирования в GSC (и файлы журналов, если вы можете их получить). Как я уже говорил ранее в этом посте, не все страницы сканируются с одинаковой частотой. Google может чаще сканировать определенные URL-адреса на вашем сайте в зависимости от потребности сканирования. Это означает, что нумерация страниц может сканироваться не так часто, как ваша домашняя страница, важные страницы категорий, страницы продуктов и т. д. Не думайте, что высокий уровень индексации для нумерации страниц означает наличие проблемы. Это может быть совершенно нормально.
• Отслеживание производительности: убедитесь, что вы отслеживаете все это с течением времени и определяете, вызывает ли нумерация страниц проблемы с точки зрения SEO (в чем я сомневаюсь в большинстве случаев). Опять же, Google может очень хорошо обрабатывать разбиение на страницы и имеет большой опыт в этом (при условии, что он может легко идентифицировать разбиение на страницы). Использование нумерации страниц, когда это необходимо, — это нормально (и может быть хорошо). Я бы больше беспокоился о количестве страниц с разбивкой на страницы в наборе, чем об общем количестве страниц с разбивкой на страницы, проиндексированных на сайте. Как я уже говорил ранее, убедитесь, что ваша нумерация страниц имеет смысл как для пользователей, так и для поисковых систем.
• Рекомендации Google: Наконец, послушайте Джона Мюллера из Google и прочитайте документацию Google. У Google большой опыт работы с нумерацией страниц на разных сайтах, и часто она просто «работает». Я рекомендую внедрить решение для нумерации страниц в зависимости от вашей ситуации, проанализировать эту настройку с течением времени и убедиться, что она работает на вас.

Резюме. Да, ваш сайт может быть хорош с точки зрения SEO с большим количеством проиндексированных страниц.
Если вы имеете дело с большим количеством страниц на своем сайте, я надеюсь, что это тематическое исследование было полезным. Я знаю, что в течение многих лет было много путаницы в отношении нумерации страниц и SEO, особенно после того, как Google уничтожил rel next/prev в 2019 году. Как я объяснил в этом посте, Google имеет долгую историю обработки пагинации, и обычно это не вызывает много проблемы с ранжированием сайта (при условии, что он настроен правильно). Подход, который вы выбираете, действительно сводится к вашему собственному сайту, типу контента и внутренней структуре ссылок. И если вы в конечном итоге проиндексируете много страниц, пусть будет так. Как показало это тематическое исследование, это может сработать для вас очень хорошо.

ГГ