Поисковые системы не могут обнаружить и проиндексировать каждую страницу в Интернете — им нужно сделать выбор в этом отношении. И хотя все поисковые системы служат одной цели, они используют разные критерии индексации страниц.

При этом, как правило, хорошо, если поисковая система может сканировать и индексировать как можно больше ценного контента — это увеличивает шансы того, что она покажет пользователям то, что они ищут.

Мне было любопытно, какая поисковая система — Bing или Google — в целом индексирует больше контента.

В этой статье описываются различные аспекты моего исследования, и хотя мне нужно больше данных, чтобы сделать определенные выводы, мне все же удалось собрать много уникальных и ценных идей.

Вот что я узнал о том, как Bing и Google индексируют веб-страницы.

Анализ данных индексации: методология и результаты

Покрытие индекса случайной выборки сайтов WordPress

Первым шагом моего исследования был сбор выборки страниц для проверки статистики их индексации.

Я решил, что хорошей отправной точкой будет использование образца веб-сайтов с плагином Yoast SEO для WordPress. Выбор этого плагина был обусловлен практической причиной: он делит карты сайта по разделам, что позволяет мне анализировать, какие разделы индексируются больше всего.

Я нашел список веб-сайтов, использующих плагин Yoast SEO, на сайте buildwith.com , где сообщается о веб-сайтах, использующих определенные технологии или инструменты. Я выбрал случайную выборку из 200 веб-сайтов из списка сайтов, использующих Yoast SEO.

Затем я проверил статистику индексации этих веб-сайтов с помощью ZipTie.dev , и полученные данные оказались очень интересными.

Bing проиндексировал больше веб-страниц, чем Google.

Взгляните на диаграммы ниже, которые показывают статистику индексации для заданных категорий карты сайта:

Покрытие индекса одинаково для Bing и Google для категорий историй и прессы. Более того, Google проиндексировал больше контента в путеводителях и локациях. Однако во всех остальных категориях карты сайта индексация Bing превосходит индексацию Google, включая важные категории, такие как сообщения, продукты и изображения.

Но означает ли это, что Bing также может сканировать больше страниц, чем Google? Или они сканируют одинаковое количество контента, но имеют разные предпочтения в отношении индексации?

Сканирование данных для выборки наших клиентов

Чтобы расширить свои выводы, я проверил данные для нескольких наших клиентов как в Bing Webmaster Tools , так и в Google Search Console.  

Эти инструменты показывают страницы, о которых знает соответствующая поисковая система для данного домена.

В Google Search Console я просмотрел список «Все известные страницы» в отчете «Покрытие индекса» и проверил количество URL-адресов для всех четырех статусов («Ошибки», «Действительно», «Действительно с предупреждениями» и «Исключено»).

В Инструментах для веб-мастеров Bing в разделе «Обозреватель сайтов», который содержит данные об индексации страниц в заданном домене, я отфильтровал представление, чтобы отобразить все URL-адреса.

Это показало мне все обнаруженные URL-адреса для каждого домена, который я проанализировал.

Сравнив данные, которые я получил в обоих этих инструментах, я заметил, что Google обнаружил больше страниц, чем Bing.

С другой стороны (при условии, что эти результаты совпадают для обоих протестированных образцов веб-сайтов), мы уже знаем, что страницы, обнаруженные Google и Bing, с большей вероятностью будут проиндексированы Bing.

Имейте в виду, что эти результаты относятся только к небольшой выборке сайтов и могут не отражать всю сеть.

Покрытие индексом выборки популярных сайтов

Третий аспект моего исследования заключался в том, чтобы проверить статус индексации нескольких популярных веб-сайтов с помощью ZipTie , чтобы увидеть, как он различается между Bing и Google.

Я узнал, что Bing гораздо активнее индексирует эти сайты, чем Google. Это подтвердило мои более ранние выводы для выборки веб-сайтов WordPress, использующих YoastSEO.

Взгляните на данные, которые я получил:

Bing против индексации Google — первоначальные наблюдения

Можем ли мы сказать, что Bing лучше поисковой системы на основе данных?

Хотя Bing индексирует больше контента, мы не можем выделить одного победителя, просто взглянув на статистику индексации. Мы не знаем, почему Bing индексирует больше, чем Google.

Моя гипотеза состоит в том, что Google может быть «более разборчивым», чем Bing. Не секрет, что выбор индекса — это вещь.

Мы говорили об этом в течение многих лет – получить индексацию Google становится все труднее.

Мы также знаем, что поисковые системы сканируют страницы с разной скоростью.

Вот что сказал Джон Мюллер о том, как часто Googlebot сканирует страницы:

Я думаю, что сложность здесь в том, что мы не сканируем URL-адреса с одинаковой частотой все время. Поэтому некоторые URL-адреса мы будем сканировать ежедневно. Некоторые URL-адреса могут быть еженедельными. Другие URL-адреса каждые пару месяцев, может быть, даже раз в полгода или около того. Так что это то, для чего мы пытаемся найти правильный баланс, чтобы не перегружать ваш сервер. […] Так что, в частности, если вы делаете такие вещи, как запросы к сайту, есть шанс, что вы увидите те URL-адреса, которые сканируются примерно раз в полгода. Они все еще будут там через пару месяцев. […] если вы считаете, что эти URL-адреса вообще не должны индексироваться, то, возможно, вы можете поддержать это и сказать: ну, вот файл карты сайта с датой последней модификации, чтобы Google отключился и попытался удвоить- проверьте это немного быстрее, чем в противном случае.

источник: Джон Мюллер

Я также нашел несколько интересных идей в документации Bing:

Чтобы оценить, насколько умен наш сканер, мы измеряем эффективность сканирования bingbot. Эффективность сканирования — это то, как часто мы сканируем и обнаруживаем новый и свежий контент на просканированную страницу. Наша путеводная звезда эффективности сканирования заключается в том, чтобы сканировать URL-адрес только тогда, когда контент был добавлен (URL-адрес не сканировался ранее), обновлен (свежий контекст на странице или полезные исходящие ссылки). Чем больше мы сканируем дублированный, неизменный контент, тем ниже наш показатель эффективности сканирования.

источник: Серия Bingbot: максимальная эффективность сканирования»

Bing может не захотеть углубляться при сканировании веб-сайтов, поскольку это может принести мало пользы и привести к падению их KPI.

Мы знаем, что Bing работает над повышением эффективности сканирования. Например, Bing попытался оптимизировать сканирование статического контента и определить шаблоны, которые уменьшили бы частоту сканирования на многих веб-сайтах.

Также обратите внимание на различия в том, как Google и Bing индексировали случайные сайты WordPress — они были намного меньше. В случае очень популярных веб-сайтов они гораздо более значимы.

Это наводит меня на мысль, что в соответствии с тем фактом, что Bing открыто признает, что использует данные о поведении пользователей в своих алгоритмах, Bing уделяет большое внимание индексации популярных веб-сайтов, в то время как для Google популярность имеет меньшее значение.

Представляем IndexNow

Недавно Bing сделал еще один шаг вперед, приняв протокол IndexNow. Вы можете использовать IndexNow, чтобы информировать Bing и Яндекс о новом или обновленном контенте.

В ходе наших тестов мы обнаружили, что Bing обычно начинает сканировать страницу в промежутке между 5 секундами и 5 минутами с момента ее отправки с помощью IndexNow.

IndexNow — это инициатива по повышению эффективности Интернета: сообщая поисковым системам, был ли изменен URL-адрес, владельцы веб-сайтов подают четкий сигнал, помогая поисковым системам расставить приоритеты при сканировании этих URL-адресов, тем самым ограничивая потребность в исследовательском сканировании для проверки того, изменился ли контент. измененный […].

Мы продолжим учиться и совершенствоваться в более широком масштабе и корректировать скорость сканирования для сайтов, реализующих IndexNow. Наша цель — предоставить каждому пользователю максимальную выгоду с точки зрения индексации, управления нагрузкой при сканировании и актуальности контента для искателей.

источник: Блог Bing, «IndexNow — Мгновенное индексирование вашего веб-контента в поисковых системах»

IndexNow позволяет веб-сайтам быстрее индексировать свой контент и использовать меньше ресурсов для сканирования. В результате предприятия могут повысить качество обслуживания своих клиентов, предоставив им доступ к наиболее актуальной информации.

Мы создали инструмент, который поможет вам отправлять URL-адреса или карты сайта в IndexNow еще быстрее и проще.

Важно отметить, что IndexNow — это возможность для небольших поисковых систем, таких как Bing и Yandex, добавлять в свои индексы обширную базу данных контента. IndexNow решает проблему, с которой сегодня борются поисковые системы, в том числе Google, — необходимость сканировать и отображать растущее количество контента.

Время покажет, примет ли Google протокол IndexNow или создаст альтернативное решение, которое позволит владельцам сайтов отправлять страницы для индексации.

Оптимизация сканирования и индексации страниц

Еще один вывод из моего анализа индексации заключается в том, насколько важно упростить сканирование и индексирование для поисковых систем.

Во-первых, вам нужно создать и поддерживать карты сайта, которые включают ваши ценные URL-адреса. Карты сайта полезны для Bing и Google для обнаружения контента, который они должны проиндексировать.

Поисковые системы будут изо всех сил пытаться определить, какие страницы релевантны и должны быть проиндексированы, если вы не отправите оптимизированную карту сайта. Для получения более подробной информации о настройке карты сайта и о том, какие страницы включать, прочитайте наше Полное руководство по файлам Sitemap в формате XML.

Кроме того, у вас должен быть файл robots.txt, содержащий правильные директивы для ботов и правильно реализованные теги noindex на страницах, которые не должны индексироваться.

Подведение итогов

Чтобы определить четкую закономерность в индексации Bing и Google, мне пришлось бы проверить гораздо больше веб-сайтов, но есть определенные идеи, которые мы можем получить из моих образцов данных:

• Bing индексирует больше контента, чем Google.
• Google обнаруживает больше контента, чем Bing, что говорит о том, что Google более требователен к индексации. Руководящий принцип Bing — меньше сканировать и сосредоточиться на добавленном или обновленном содержимом.
• Bing отдает приоритет индексации популярных веб-сайтов, в то время как популярность не имеет большого значения для Google.

Мы также видим, что качество контента и оптимизация сканирования и индексации вашего сайта являются жизненно важными аспектами SEO, и ими нельзя недооценивать или пренебрегать ими. Более того, эти факторы, вероятно, будут продолжать играть решающую роль по мере роста Интернета и усложнения алгоритмов поисковых систем.