Как исправить «Обнаружено — в настоящее время не проиндексировано» в Google Search Console

Документация Google определяет статус «Обнаружено — в настоящее время не проиндексировано» в отчете об индексировании Google как:

Страница была найдена Google, но еще не просканирована. Как правило, Google хотел просканировать URL-адрес, но ожидалось, что это перегрузит сайт; поэтому Google перепланировал сканирование. Вот почему дата последнего обхода в отчете пуста.

источник: отчет о покрытии индекса Google.

Томек Рудзки исследовал наиболее распространенные проблемы индексации, отображаемые в Google Search Console , и обнаружил, что одна из них — «Обнаружено — в настоящее время не проиндексировано» рядом с:

• Дублированный контент,
• Просканировано – в настоящее время не проиндексировано,
• Мягкие 404 и
• Проблемы со сканированием.

Решение проблемы « Обнаружено – в настоящее время не проиндексировано » должно быть приоритетным, поскольку оно может повлиять на многие страницы и указывает на то, что некоторые из ваших страниц не были просканированы и впоследствии не проиндексированы.

Эта проблема может быть вызвана многими факторами, которые, если их не устранить, могут привести к тому, что некоторые страницы никогда не попадут в индекс Google. И если это так, они не принесут вам органический трафик и не приведут к конверсиям.

В этой статье подробно рассматривается раздел «Обнаруженные — в настоящее время не проиндексированные» в отчете Search Console «Покрытие индекса», в котором основное внимание уделяется анализу того, почему ваши страницы попадают туда, и способам устранения любых проблем, которые могут быть причиной этого.

Где найти статус «Обнаружено — в настоящее время не проиндексировано»

Обнаружено — в настоящее время не проиндексировано — это один из типов проблем в отчете «Покрытие индекса» в Google Search Console. В отчете показаны статусы сканирования и индексации страниц вашего веб-сайта.

Обнаружено — в настоящее время не проиндексировано отображается в категории « Исключено» , которая включает URL-адреса, которые Google не проиндексировал, но, с точки зрения Google, эта ситуация не является результатом ошибки.

При использовании Google Search Console вы можете щелкнуть тип проблемы, чтобы просмотреть список затронутых URL-адресов.

Возможно, вы обнаружите, что намеревались исключить некоторые из указанных URL-адресов из индекса — и это нормально. Но вы должны следить за своими ценными страницами — если какие-то из них не были проиндексированы, проверьте, какие проблемы обнаружил Google.

Обнаружение, сканирование и индексирование

Прежде чем перейти к характеристикам «Обнаружено» — в настоящее время не проиндексировано и решить эту проблему, давайте проясним, что требуется для ранжирования URL-адреса в Google:

• Google должен найти URL, прежде чем его можно будет просканировать. URL-адреса чаще всего обнаруживаются по внутренним или внешним ссылкам или картам сайта XML, которые должны содержать все страницы, которые должны быть проиндексированы.
• Сканируя страницы , Google посещает их и проверяет их содержание. У Google нет ресурсов для сканирования всех найденных страниц, и этот факт является причиной многих проблем со сканированием, с которыми сталкиваются сайты.
• Во время индексации Google извлекает содержимое страниц и оценивает их качество. Индексирование необходимо для появления в результатах поиска и получения органического трафика из Google. Проиндексированные страницы оцениваются на основе многочисленных факторов ранжирования , определяющих, как они ранжируются в ответ на поисковые запросы, которые пользователи вводят в Google.

Получение индексации Google является сложной задачей из-за ограниченных возможностей его ресурсов, постоянно растущей сети, а также потому, что Google ожидает определенного уровня качества от страниц, которые он индексирует.

Многие технические и связанные с содержанием факторы могут играть роль в том, что ваши страницы не сканируются и не индексируются.

Существуют решения, повышающие шансы на индексацию. Это включает:

• Имея стратегию сканирования, которая отдает приоритет сканированию ценных частей вашего веб-сайта,
• Осуществление внутренней перелинковки,
• Создание точной карты сайта, содержащей все URL-адреса, которые должны индексироваться, и
• Написание качественного, ценного контента.

Обязательно ознакомьтесь с документацией Google — там есть раздел с рекомендациями, которым нужно следовать, чтобы Google было легче сканировать и индексировать ваши страницы.  

Как использовать раздел отчета «Обнаружено – в настоящее время не проиндексировано»

Статус «Обнаружено — в настоящее время не проиндексировано» — это то место, куда можно обратиться, чтобы быть в курсе любых потенциальных проблем со сканированием.

Найдя URL-адреса в этом разделе, проверьте, следует ли их сканировать в первую очередь.  

Если нужно, попытайтесь найти закономерность в том, какие URL появляются в отчете . Это поможет вам определить, какие аспекты этих URL-адресов могут вызывать проблему.

Например, проблема может касаться URL-адресов в определенной категории продуктов, страниц с параметрами или страниц с определенной структурой, из-за чего все они считаются тонким контентом.

Когда раздел «Обнаружено — в настоящее время не проиндексирован» требует действий

URL-адреса в разделе «Обнаруженные» — в настоящее время не проиндексированные — не всегда требуют внесения изменений на ваш веб-сайт.

А именно, вам не нужно ничего делать, если:

• Количество затронутых URL-адресов невелико и остается стабильным с течением времени, или
• Отчет содержит URL-адреса, которые не следует сканировать или индексировать, например те, которые имеют теги canonical или noindex, или URL-адреса, заблокированные для сканирования в вашем файле robots.txt.

Но по-прежнему крайне важно держать этот раздел отчета под контролем.

URL-адреса требуют вашего внимания, если их количество увеличивается или они состоят из ценных URL-адресов, которые, как вы ожидаете, будут ранжироваться и приносить вам значительный органический трафик.

Влияние Discovered — в настоящее время не индексируется на малых и больших веб-сайтах.

Влияние раздела «Обнаружено — в настоящее время не проиндексировано» может различаться в зависимости от размера веб-сайта.

Если у вас небольшой веб-сайт, который обычно не превышает 10 000 URL -адресов , и ваши страницы имеют хорошее качество и уникальный контент, статус «Обнаружено — в настоящее время не проиндексировано» часто разрешается сам собой. Google может не сталкиваться с проблемой, но просто еще не просканировал указанные URL-адреса.

Небольшие сайты, как правило, не имеют проблем с бюджетом сканирования , и всплеск заявленных страниц может возникнуть из-за проблем с качеством контента или плохой внутренней структурой ссылок.

Статус «Обнаружено — в настоящее время не проиндексировано» может быть особенно серьезным для крупных сайтов (свыше 10 тыс. URL-адресов) и применяться к тысячам или даже миллионам URL-адресов.

В Onely мы обнаружили, что веб-сайты, содержащие более 100 000 URL-адресов, обычно страдают от проблем со сканированием , часто возникающих из-за потраченного впустую краулингового бюджета.

Эти проблемы обычно возникают на веб-сайтах электронной коммерции . Они часто имеют дублированный или неполный контент или содержат продукты, которых нет в наличии или с истекшим сроком годности. Таким страницам обычно не хватает качества, необходимого для того, чтобы попасть в очередь на индексацию Google, не говоря уже о том, чтобы их сканировали.

При запуске большого сайта

Если вы только запускаете большой веб-сайт, вы можете с самого начала облегчить работу робота Googlebot.

Если вы хотите запустить большой сайт, не стоит сразу запускать всю его структуру , если она содержит много пустых или незаконченных страниц, которые только потом будут обновляться. Робот Googlebot обнаружит эти страницы и сочтет их некачественными, что с самого начала создает риск низкого краулингового бюджета. И на исправление этой ситуации могут уйти годы.

Гораздо лучше добавлять контент по мере его регулярного выпуска. Таким образом, у робота Googlebot с самого начала создается положительное впечатление о вашем качестве.

Перед запуском вы всегда должны иметь стратегию индексирования и сканирования и знать, какие страницы следует посещать Google.

Причины обнаруженного — в настоящее время не проиндексированного статуса и как их исправить

Как правило, URL-адреса будут классифицироваться как обнаруженные — в настоящее время они не проиндексированы из-за качества контента, внутренних ссылок или проблем с краулинговым бюджетом.

Давайте рассмотрим, почему вы можете видеть свои страницы с таким статусом и как это исправить.

Проблемы с качеством контента

У Google есть пороги качества, которым должны соответствовать страницы, поскольку он не может сканировать и индексировать все в Интернете.

Google может посчитать некоторые страницы в вашем домене не заслуживающими сканирования и пропустить их, отдав предпочтение другому, более ценному контенту. В результате эти URL-адреса могут быть помечены как обнаруженные — в настоящее время не проиндексированные.

Стоит отметить, что наличие URL-адресов в статусе «Обнаружено» — в настоящее время не проиндексировано — часто не ограничивается отмеченными страницами, а скорее может быть проблемой качества контента для всего сайта, как сказал Джон Мюллер . Если Google сочтет ваш сайт некачественным по сравнению с другим контентом в Интернете, он может пропустить сканирование и индексирование ваших страниц.

Чтобы приступить к решению этой проблемы, просмотрите список затронутых URL-адресов и убедитесь, что каждая страница содержит уникальный контент. Контент должен удовлетворять поисковые запросы пользователя и решать конкретную проблему.

Я рекомендую вам ознакомиться с рекомендациями по оценке качества , которым Google следует при оценке веб-сайтов — это поможет вам понять, что Google ищет в контенте, найденном в Интернете.

В то же время не забывайте, что вы не должны индексировать все свои страницы.  

Некоторые некачественные страницы не должны индексироваться , например:

• Устаревший контент (например, старые новостные статьи),
• Страницы, созданные окном поиска на веб-сайте,
• Страницы, созданные с применением фильтров,
• Дублированный контент,
• Автоматически сгенерированный контент,
• Контент, создаваемый пользователями.

Лучше всего запретить сканирование и индексирование таких разделов в файле robots.txt.  

Во время работы отдела SEO 31 декабря 2021 года Джон Мюллер обсудил внесение изменений в качество веб-сайта как способ решения обнаруженных проблем, которые в настоящее время не проиндексированы:

[…] Внесение более качественных изменений на веб-сайте требует довольно много времени, чтобы системы Google это заметили. […] Это нечто большее, чем несколько месяцев, а не несколько дней. […] Поскольку для внесения качественных изменений требуется много времени, я бы порекомендовал не вносить небольшие изменения и подождать и посмотреть, достаточно ли они хороши, а действительно убедиться, что, если вы вносите значительные качественные изменения, […] это действительно качественные изменения […]. Вы не хотите ждать несколько месяцев, а затем решить: «О, да, мне действительно нужно изменить некоторые другие страницы».

источник: Джон Мюллер

Проблемы с внутренними ссылками

Робот Googlebot переходит по внутренним ссылкам на вашем сайте, чтобы обнаружить другие страницы и понять связи между ними. Поэтому убедитесь, что ваши самые важные страницы часто связаны внутренними ссылками.

Мартин Сплитт рассказал о том, почему неправильные структуры ссылок могут быть проблематичными на вебинаре Rendering SEO :

[…] Если у нас есть около тысячи URL-адресов от вас, которые все только в карте сайта, и мы не видели их ни на одной из других просканированных страниц, мы могли бы сказать: «Мы не знаем, насколько важны это действительно '[...]. Вместо того, чтобы просто иметь его в карте сайта, дайте ссылку на него из других мест на вашем веб-сайте , чтобы при сканировании этих страниц мы видели «Ага! Итак, эта страница, и эта страница, и эта страница указывают на эту страницу продукта, так что, возможно, она немного важнее, чем этот другой продукт, который существует только в карте сайта».

источник: Мартин Сплитт

Правильная внутренняя перелинковка вращается вокруг соединения ваших страниц для создания логической структуры, которая помогает поисковым системам и пользователям следовать иерархии вашего сайта. Внутренние ссылки также связаны с архитектурой вашего сайта.

Помощь поисковым системам в поиске и присвоении надлежащего значения вашим страницам включает в себя:

• Решите, что является вашим краеугольным контентом, и убедитесь, что на него есть ссылки с других страниц,
• Добавление контекстных ссылок в ваш контент,
• Связывание страниц на основе их иерархии, например, путем связывания родительских страниц с дочерними страницами и наоборот, или включения ссылок в навигацию по сайту,
• Избегайте размещения ссылок в виде спама и чрезмерной оптимизации анкорного текста,
• Включение ссылок на связанные продукты или сообщения.

Вы также можете прочитать эту статью об улучшении внутренней ссылочной структуры.  

Сканирующий бюджет

Бюджет сканирования — это количество страниц, которые робот Googlebot может и хочет просканировать на веб-сайте.

Бюджет сканирования сайта определяется:

• Ограничение скорости сканирования — количество URL-адресов, которые может сканировать Google, в зависимости от возможностей вашего веб-сайта.
• Спрос на сканирование — сколько URL-адресов Google хочет сканировать, исходя из того, насколько важными он считает URL-адреса, учитывая их популярность и частоту их обновления.

Трата краулингового бюджета может привести к неэффективному сканированию вашего сайта поисковыми системами . В результате некоторые основные части вашего веб-сайта могут быть пропущены.

Проблемы с краулинговым бюджетом могут быть вызваны многими факторами, в том числе:

• Некачественный контент,
• Плохая внутренняя структура ссылок,
• Ошибки в реализации редиректов,
• Перегруженные серверы,
• Тяжелые сайты.

Прежде чем оптимизировать краулинговый бюджет, вы должны выяснить, как именно робот Googlebot сканирует ваш сайт.  

Вы можете сделать это, перейдя к другому полезному инструменту в Search Console — отчету статистики сканирования. Кроме того, проверьте журналы вашего сервера для получения подробной информации о том, какие ресурсы Googlebot просканировал и что он пропустил.

Ниже приведены 5 аспектов, на которые следует обратить внимание, чтобы оптимизировать краулинговый бюджет и заставить Google сканировать некоторые из обнаруженных — в настоящее время не проиндексированных страниц вашего сайта:

Некачественный контент

Если робот Googlebot может свободно сканировать низкокачественные страницы, у него может не хватить ресурсов для доступа к ценным материалам на вашем веб-сайте.

Чтобы сканеры поисковых систем не сканировали определенные страницы, примените правильные директивы в файле robots.txt.

Вы также должны убедиться, что на вашем веб-сайте правильно оптимизирована карта сайта, которая помогает роботу Googlebot обнаруживать уникальные индексируемые страницы на вашем сайте и замечать изменения на них.

Карта сайта должна содержать:

• URL-адреса, отвечающие 200 кодами состояния,
• URL-адреса без метатегов robots, блокирующих их индексацию, и
• Только канонические версии ваших страниц.

Плохая внутренняя структура ссылок

Если Google не находит достаточно ссылок, идущих на URL-адрес, он может пропустить его сканирование из-за недостаточного количества сигналов, указывающих на его важность.

Следуйте моим рекомендациям, изложенным в подразделе «Проблемы с внутренними ссылками».

Ошибки в реализации редиректов

Внедрение редиректов может быть полезным для вашего сайта, но только если все сделано правильно. Всякий раз, когда робот Googlebot встречает перенаправленный URL-адрес, он должен отправить дополнительный запрос, чтобы перейти к целевому URL-адресу, что требует дополнительных ресурсов.

Убедитесь, что вы придерживаетесь лучших практик реализации перенаправлений. Вы можете перенаправлять как пользователей, так и ботов со страниц с ошибкой 404, на которые есть ссылки из внешних источников, на рабочие страницы, что поможет вам сохранить сигналы ранжирования.

Убедитесь, что вы не ссылаетесь на страницы с переадресацией . Вместо этого обновите их, чтобы они указывали на правильные страницы. Вам также необходимо избегать петель и цепочек перенаправления.

Проблемы с сервером

У Google могут возникнуть проблемы со сканированием, поскольку ваш сайт оказался перегруженным. Это происходит из-за того, что скорость сканирования, влияющая на бюджет сканирования, настраивается в соответствии с возможностями вашего сервера.

На вебинаре по SEO-рендерингу Мартин Сплитт обсудил проблемы с сервером, связанные со сканированием страниц Google:

[…] Одна вещь, которую я вижу довольно часто, заключается в том, что серверы выдают периодические ошибки — в частности, 500 с чем-то — и все, на что ваш сервер отвечает 500, 501, 502, 504, что угодно, означает, что ваш сервер говорит: «Подожди». , у меня тут проблема' […], и он может рухнуть в любой момент, так что мы отступаем. Всякий раз, когда мы отступаем, и ваш сервер отвечает положительно, мы обычно снова медленно наращиваем. Представьте, что каждый день вы получаете 500 ответов.

Мы видим это, мы немного отступаем, мы снова набираем обороты — мы видим это снова […]. Вам следует проверить, отвечает ли ваш сервер отрицательно.

источник: Мартин Сплитт

Уточните у своего хостинг-провайдера, есть ли какие-либо проблемы с сервером на вашем сайте.

Проблемы с сервером также могут быть вызваны низкой производительностью веб-сайтов — узнайте больше, прочитав нашу статью о производительности веб-сайтов и краулинговом бюджете.  

Тяжелые сайты

Проблемы со сканированием могут быть вызваны тем, что некоторые страницы слишком тяжелые. У Google может просто не хватить ресурсов для их сканирования и отображения.

Каждый ресурс, который робот Googlebot должен получить для отображения вашей страницы, учитывается в вашем краулинговом бюджете. В этом случае Google видит страницу, но продвигает ее дальше в очереди приоритетов.

Вам следует оптимизировать файлы JavaScript и CSS вашего сайта, чтобы уменьшить негативное влияние вашего кода.

Наличие нового веб-сайта

Томек Рудзки создал опрос в Твиттере, в котором он спросил сообщество SEO о проблемах с индексацией на новых сайтах. И, по результатам опроса, почти 40% людей испытывали такие проблемы:

БЫЛИ ли у вас НЕДАВНО проблемы с индексацией новых веб-сайтов?

— Томек Рудзки (@TomekRudzki) 7 декабря 2021 г.

Во время одной из сессий SEO Office Hours участник рассказал о своем новом веб-сайте, запущенном 2 месяца назад, на котором многие страницы были помечены как обнаруженные — в настоящее время не проиндексированные. Затем он спросил, какой длины страницы должны появиться с таким статусом, на что Джон ответил:

Это может быть навсегда […]. И особенно с более новым веб-сайтом, если у вас много контента, то я предполагаю, что ожидается, что много нового контента какое-то время будет обнаружено и не проиндексировано. А потом со временем, как правило, как-то смещается. И это похоже на то, что он действительно просканирован или действительно проиндексирован, когда мы видим, что на самом деле есть смысл больше сосредоточиться на самом веб-сайте.

источник: Джон Мюллер

Как правило, не существует быстрых решений для индексации страниц, но рассмотрение аспектов SEO, которые я описал ранее, может помочь вам получить больше шансов на их индексацию.

Понятно, что Google хочет быть уверенным, что индексирует только высококачественный контент, и эти пороги качества, похоже, растут. Но это особенно сложно для новых веб-сайтов, которым нужно снова и снова доказывать Google, что их контент заслуживает быть в индексе.

Дополнительная информация об адресации Обнаружено – в настоящее время не проиндексировано

Во время SEO Office Hours Джона Мюллера спросили о решении проблемы, связанной с тем, что около 99% URL-адресов на веб-сайте застряли в разделе отчета «Обнаруженные — в настоящее время не проиндексированные».

Рекомендации Джона сводились к трем основным шагам:

[…] Прежде всего я хотел бы посмотреть […], что вы случайно не генерируете URL-адреса с разными шаблонами URL-адресов, […] такие вещи, как параметры, которые у вас есть в вашем URL-адресе, верхний нижний регистр, все эти вещи могут привести к по существу дублировать содержание . И если мы обнаружим много таких дубликатов URL-адресов, мы можем подумать, что нам на самом деле не нужно сканировать все эти дубликаты, потому что у нас уже есть некоторая вариация этой страницы […]. Убедитесь, что с внутренней ссылки все в порядке. Чтобы мы могли просканировать все эти страницы на вашем сайте и дойти до конца. Вы можете примерно проверить это с помощью краулера или чего-то вроде Screaming Frog или Deep Crawl . […] По сути, они скажут вам, могут ли они просканировать ваш веб-сайт, и покажут вам URL-адреса, которые были найдены во время этого сканирования. Если это сканирование сработает, я бы сильно сосредоточился на качестве этих страниц . Если вы говорите о 20 миллионах страниц и 99% из них не индексируются, то мы индексируем лишь очень небольшую часть вашего сайта. […] Возможно, имеет смысл сказать: «Ну, а что, если я уменьшу количество страниц вдвое или, может быть, даже [...] до 10% от текущего количества». […] Как правило, вы можете немного улучшить качество контента, разместив на этих страницах более полный контент. И для наших систем немного проще посмотреть на эти страницы и сказать: «Ну, эти страницы […] на самом деле выглядят неплохо». Мы должны уйти, просканировать и проиндексировать намного больше».

источник: Джон Мюллер

На другом сеансе рабочего времени 18 февраля 2022 года Джона снова спросили о большом количестве URL-адресов, которые, по-видимому, застряли со статусом «Обнаружено — в настоящее время не проиндексировано».

И Джон сказал, что часто иметь много страниц с таким статусом нормально:

[…] В какой-то степени я бы просто согласился с тем, что Google не может сканировать и индексировать все. […] Если вы обнаружите, например, что […] отдельные продукты не сканируются и не индексируются, убедитесь, что по крайней мере страница категории для этих продуктов сканируется и индексируется. Потому что таким образом люди все еще могут найти контент для этих отдельных продуктов на вашем веб-сайте […].

источник: Джон Мюллер

Члены сообщества SEO сообщают об увеличении количества страниц, помеченных как обнаруженные, которые в настоящее время не индексируются в течение нескольких месяцев. Некоторые тестируют альтернативные решения этой проблемы.

Дэн Шур решил проверить это , переместив застрявший контент на разные URL-адреса, в результате чего они действительно были проиндексированы.

Поэтому кажется возможным, что многие из этих страниц просто зависают после того, как изначально остались с этим статусом.

Обнаружено — в настоящее время не проиндексировано по сравнению с Просканировано — в настоящее время не проиндексировано

Эти два статуса часто путают, и, хотя они связаны, они означают разные вещи.

В обоих случаях URL-адреса не были проиндексированы, но в случае «Просканировано» — в настоящее время не проиндексировано, Google уже посещал страницу . With Discovered — в настоящее время не проиндексирована, страница найдена Google, но не просканирована.

Просканировано — проиндексировано в настоящее время, часто вызвано задержкой индексации, проблемами с качеством контента, проблемами архитектуры сайта или страницей, которая могла быть деиндексирована.

У нас также есть подробная статья, в которой объясняется, как исправить Crawled — в настоящее время не проиндексировано.

Подведение итогов

Обнаружено — в настоящее время не проиндексировано, как правило, из-за проблем с качеством страницы и краулинговым бюджетом.

Устранение этих проблем и помощь Google в эффективном и точном сканировании ваших страниц в будущем может потребовать от вас проверки многих аспектов ваших страниц и их оптимизации.

Вот несколько основных вещей, которые могут помочь избежать проблем с обнаруженными — в настоящее время не проиндексированными страницами:

• Используйте robots.txt, чтобы робот Googlebot не сканировал некачественные страницы, сосредоточив внимание на дублирующемся содержании, например страницах, созданных фильтрами или окнами поиска на вашем сайте.
• Потратьте время на создание правильной карты сайта, которую Google сможет использовать для обнаружения ваших страниц.

• Сохраняйте архитектуру вашего сайта нетронутой и убедитесь, что ваши важные страницы связаны внутри.
• Разработайте стратегию индексации, чтобы отдавать приоритет наиболее ценным для вас страницам.
• Оптимизируйте с учетом краулингового бюджета.