Как исправить «Просканировано — пока не проиндексировано» в Google Search Console

Документация Google определяет статус «Просканировано — в настоящее время не индексируется» как:

Страница была просканирована Google, но не проиндексирована. Он может быть проиндексирован или не проиндексирован в будущем; нет необходимости повторно отправлять этот URL для сканирования.

источник: Гугл

Чтение этого объяснения может вызвать разочарование, особенно если статус затрагивает страницу, важную для вашего бизнеса. Определение Google не разъясняет, что произошло и что вы можете делать дальше. Все это говорит о том, что Googlebot просканировал вашу страницу, но по какой-то причине решил не индексировать ее.

Согласно нашему исследованию, статус «Просканировано — в настоящее время не проиндексировано» является наиболее распространенной проблемой, о которой сообщается в отчете «Покрытие индекса». Это означает, что вы, вероятно, уже испытали это или, вероятно, испытаете это в будущем.

Крайне важно устранить проблему как можно скорее. В конце концов, если ваша страница не проиндексирована, она не появится в результатах поиска и не получит органического трафика из Google.  

В этой статье представлены возможные причины статуса Crawled — not index и способы их устранения .

Где можно найти статус Просканировано — в настоящее время не проиндексировано?

Статус можно найти в отчете о покрытии индекса и в инструменте проверки URL в Google Search Console.

Отчет о покрытии индекса

Просканировано – в настоящее время не проиндексировано, относится к категории «Исключено», что означает, что Google не считает ошибкой то, что страница не проиндексирована.  

Эти страницы обычно не индексируются, и мы считаем, что это уместно. Эти страницы либо являются дубликатами проиндексированных страниц, либо заблокированы от индексации каким-либо механизмом на вашем сайте, либо не проиндексированы иным образом по причине, которая, по нашему мнению, не является ошибкой.

источник: Гугл

Нажав на статус «Просканировано — в настоящее время не проиндексировано», вы увидите список затронутых URL-адресов. Вы должны изучить его и отдать приоритет устранению проблемы для наиболее ценных для вас страниц.

Отчет также доступен для экспорта. Однако вы можете экспортировать только до 1000 URL-адресов. Если затронуто больше страниц, вы можете увеличить количество экспортируемых URL-адресов, отфильтровав страницы, относящиеся к картам сайта. Например, если у вас есть две карты сайта, каждая из которых содержит 1000 URL-адресов, вы можете экспортировать их обе по отдельности.

Инструмент проверки URL

Инструмент проверки URL-адресов в Google Search Console также может информировать вас о просканированных URL-адресах, которые в настоящее время не проиндексированы.

Верхняя часть инструмента информирует вас о том, можно ли найти URL-адрес в Google или нет. Если проверенный URL-адрес относится к категории «Исключено» в отчете «Покрытие индекса», инструмент проверки URL-адресов сообщит следующее: «Страница отсутствует в индексе, но не из-за ошибки».

Ниже вы можете найти более конкретную информацию о текущем статусе покрытия проверенного URL-адреса — в приведенном выше случае URL-адрес был просканирован — в настоящее время не проиндексирован.

Сообщить об ошибке: ваша страница может быть действительно проиндексирована

Заметив статус «Просканировано — в настоящее время не проиндексировано», первое, что вы должны сделать, — выяснить, действительно ли ваша страница не проиндексирована.

Нередко можно увидеть страницу, помеченную как просканированная — в настоящее время она не проиндексирована в отчете об индексировании, в то время как инструмент проверки URL показывает, что страница действительно проиндексирована.

Инструмент проверки URL-адресов позволяет проверить сведения об определенном URL-адресе, в том числе:

• Проблемы с индексацией,
• Ошибки структурированных данных,
• Мобильное удобство использования,
• Просмотр загруженных ресурсов (например, JavaScript).

Вы также можете запросить индексацию URL-адреса или просмотреть обработанную версию страницы.

Джон Мюллер из Google решил проблему с различиями между отчетом о покрытии индекса и инструментом проверки URL-адресов во время работы Google SEO Office Hours:

Недавно я видел подобные темы в Твиттере, где люди видели URL-адреса, помеченные как не проиндексированные в Search Console. И затем, когда вы проверяете их по отдельности, они действительно индексируются. Я пока точно не знаю, что там происходит. […] Я подозреваю, что это больше вопрос времени — мы показываем их в отчете Search Console, а затем они со временем индексируются. Затем в какой-то момент они снова выпадали из отчета. И по какой-то причине выбывание занимает немного больше времени, чем должно.

источник: Джон Мюллер

Как сказал Джон, это может быть просто проблема с задержкой и синхронизацией данных между этими двумя инструментами, и статус может со временем обновляться в отчете о покрытии индексов.

Однако это не всегда просто задержка. Иногда это ошибка отчета.

В сентябре мы заметили, что некоторые из наших проиндексированных статей сообщали о том, что они просканированы, но в настоящее время не проиндексированы.

С помощью GSC вы можете проверить, какие из ваших страниц просканированы, но еще не проиндексированы Google.

GSC перечислил несколько наших статей как просканированные — в настоящее время они не проиндексированы.

Однако инструмент проверки URL-адресов показывает их как проиндексированные.

И они действительно индексируются.

Есть идеи, #SEOTwitter? pic.twitter.com/xKv0IYpGLa

— Onely (@OnelyCom) 16 сентября 2021 г.

Это определенно не было проблемой задержки, так как старые статьи тоже были затронуты.  

Вскоре после этого другие SEO-специалисты, в том числе Лили Рэй, начали замечать эту проблему.

Другие уже написали об этом в Твиттере, но я вижу много примеров URL-адресов в отчете GSC «Просканировано, не проиндексировано» (с последними датами сканирования), которые на самом деле являются проиндексированными URL-адресами.

Проверка отдельных URL-адресов часто приводит к следующему сообщению.

Мысли @danielwaisberg @googlesearchc? pic.twitter.com/i1XfcvldEq

— Лили Рэй (@lilyraynyc) 28 сентября 2021 г.

Что делать в этой ситуации? Какому отчету доверять?

Как правило , инструмент проверки URL-адресов показывает более актуальные данные, чем отчет о покрытии индекса. Вот почему вы всегда должны больше доверять инструменту проверки URL, когда вынуждены выбирать между этими отчетами.

Причины и решения для статуса Crawled — в настоящее время не проиндексировано

Теперь давайте перейдем к сути проблемы — почему появляется статус и что вы можете сделать, чтобы это исправить.

Google не дает вам четкого ответа, почему ваша страница была просканирована, но не проиндексирована, но есть несколько возможных причин, по которым может отображаться статус, в том числе:

• Задержка индексации,
• Страница не соответствует стандартам качества,
• Страница деиндексирована,
• проблема с архитектурой сайта,
• Проблемы с дублированием контента.

Задержка индексации

Нередко Google посещает страницу, но для ее индексации требуется некоторое время. Интернет бесконечно велик, и Google должен определить, какие страницы будут проиндексированы в первую очередь.

В своем Ultimate Guide to Indexing SEO я показал, сколько времени требуется страницам на популярных веб-сайтах для индексации. Вот некоторые результаты моего расследования:

• Google индексирует только 56% индексируемых URL-адресов через 1 день после публикации.
• Через 2 недели индексируется только 87% URL-адресов.

источник: Томек Рудзки

Если вы только что опубликовали свою страницу, может быть совершенно нормально, что она еще не проиндексирована, и вам нужно немного подождать, пока Google проиндексирует ваш контент.

Решение

Вы не можете повлиять на сканирование и индексацию своей страницы в краткосрочной перспективе, но есть несколько вещей, которые вы можете сделать, чтобы помочь своему сайту в долгосрочной перспективе:

• Создайте стратегию индексации, чтобы помочь Google расставить приоритеты на нужных страницах вашего сайта. Для этого вам нужно решить, какие страницы следует проиндексировать, и как лучше всего сообщить об этом Google.
• Убедитесь, что есть внутренние ссылки на интересующие вас страницы. Это поможет Google найти страницы и узнать больше об их контексте.
• Создайте хорошо оптимизированную карту сайта. Это простой текстовый файл, в котором перечислены ваши ценные URL-адреса. Google будет использовать его в качестве дорожной карты для более быстрого поиска страниц.

Страница не соответствует стандартам качества

Google не может проиндексировать все страницы в Интернете. Его пространство для хранения ограничено, поэтому ему необходимо отфильтровывать некачественный контент.

Цель Google — предоставить страницы самого высокого качества, которые наилучшим образом соответствуют намерениям пользователей. Это означает, что если страница более низкого качества, Google, скорее всего, проигнорирует ее, чтобы оставить место для хранения более качественного контента. И мы можем ожидать, что в будущем стандарты качества станут только строже.

Решение

Как владелец веб-сайта, вы должны убедиться, что ваша страница содержит высококачественный контент. Проверьте, удовлетворит ли это намерения ваших пользователей, и при необходимости добавьте качественный контент. Google предлагает список вопросов, которые помогут вам определить ценность вашего контента. Вот некоторые из них:

• Предоставляет ли контент оригинальную информацию, отчеты, исследования или анализ?
• Предоставляет ли контент глубокий анализ или интересную информацию, которая выходит за рамки очевидного?
• Это та страница, которую вы хотели бы добавить в закладки, поделиться с другом или порекомендовать?
• Если контент основан на других источниках, избегает ли он простого копирования или перезаписи этих источников, а вместо этого обеспечивает существенную дополнительную ценность и оригинальность?

источник: Гугл

Кроме того, вы можете воспользоваться советами по качественному контенту из Руководства Google по оценке качества. Несмотря на то, что документ предназначен в основном для оценки качества веб-сайта оценщиками качества поиска, веб-мастера могут использовать его, чтобы получить некоторое представление о том, как улучшить свои собственные сайты. Если вы хотите узнать больше, ознакомьтесь с нашим руководством по рекомендациям для оценщиков качества.

Контент, создаваемый пользователями

Пользовательский контент может быть проблемой с точки зрения качества.

Например, предположим, что у вас есть форум, и кто-то задает вопрос. Несмотря на то, что в будущем может быть много ценных ответов, на момент сканирования их не было, поэтому Google может классифицировать страницу как контент низкого качества.

Что делать, чтобы обезопасить себя от этой ситуации?

Quora придумала отличную стратегию решения проблемы. Каждый оставшийся без ответа вопрос имеет префикс «/unanswered/» в URL-адресе.

Вот пример: https://www.quora.com/unanswered/Are-you-really-happy-with-your-results  

Файл robots.txt блокирует все страницы, URL-адреса которых содержат /unanswered/. Это означает, что робот Googlebot не может их просканировать.

После ответа на вопрос URL-адрес меняется и становится доступным для сканирования. Таким образом Quora блокирует доступ к некачественному контенту, созданному пользователями.

Страница деиндексирована

URL-адрес может страдать от статуса «Просканировано — в настоящее время не проиндексирован», потому что он был проиндексирован в прошлом, но со временем Google решил деиндексировать его.

Если вам интересно, почему некоторые вещи могут исчезнуть из индекса, скорее всего, они просто заменены более качественным контентом.

Выбор индекса, хотя он в значительной степени зависит от места (ОЗУ/флеш-памяти/диска), тесно связан с качеством контента. Если у нас есть тонны свободного места, мы, скорее всего, проиндексируем более дрянной контент. Если мы этого не сделаем, мы можем деиндексировать материал, чтобы освободить место для документов более высокого качества. pic.twitter.com/jRMkEqdft0

— Гэри 鯨理／경리 Иллиес (@methode) 15 мая 2020 г.

Кроме того, стоит обратить внимание на обновления алгоритмов. Возможно, появился новый алгоритм, и он повлиял на вашу страницу.

К сожалению, деиндексация также может быть вызвана ошибкой на стороне Google. Например, Search Engine Land однажды был деиндексирован, потому что Google ошибочно предположил, что сайт был взломан.

Решение

Решение деиндексированных страниц тесно связано с их качеством. Вы всегда должны следить за тем, чтобы ваша страница содержала контент самого высокого качества и была обновлена. Не думайте, что после того, как страница проиндексирована, вам больше не нужно ничего с ней делать. Продолжайте следить за ним и при необходимости вносите изменения и улучшения.

[…]страницы, которые исчезают после обновления ядра, не должны исправлять ничего плохого. Тем не менее, мы понимаем, что те, кто чувствует себя хуже после изменения основного обновления, могут все еще чувствовать, что им нужно что-то делать. Мы предлагаем сосредоточиться на обеспечении того, чтобы вы предлагали лучший контент, какой только можете. Это то, что наши алгоритмы стремятся вознаградить.

источник: Гугл

После устранения проблем вы можете отправить эти URL-адреса в Google Search Console, чтобы помочь Google быстрее заметить изменения.

Проблема с архитектурой сайта

Когда Джона Мюллера спросили о возможных причинах, по которым страница была отмечена статусом Просканировано — в настоящее время не проиндексирована, он упомянул еще одну возможную причину — плохую структуру сайта.

Вы не можете принудительно индексировать страницы — это нормально, что мы не индексируем все страницы на всех веб-сайтах. Это не проблема «этой страницы», это больше касается всего сайта. Создание хорошей структуры сайта и обеспечение максимально возможного качества сайта — это, по сути, направление.

— johnmu.xml (личное) (@JohnMu) 28 июня 2021 г.

Давайте представим ситуацию, когда у вас есть страница хорошего качества, но Google нашел ее только потому, что вы поместили ее в свою карту сайта.

Google может просмотреть страницу и просканировать ее, но, поскольку на ней нет внутренних ссылок, он будет считать, что страница имеет меньшую ценность, чем другие страницы. Нет семантической или структурной информации, которая помогла бы оценить страницу. Это может быть одной из причин, по которой Google решил сосредоточиться на других страницах и исключить эту из индекса после ее сканирования.

Решение

Хорошая архитектура веб-сайта является ключом к тому, чтобы помочь вам максимально увеличить шансы на индексацию. Это позволяет роботам поисковых систем обнаруживать ваш контент и лучше понимать взаимосвязь между страницами.

Вот почему так важно обеспечить хорошую архитектуру веб-сайта и обеспечить наличие внутренних ссылок на страницу, которую вы хотите проиндексировать.

Если вы хотите узнать больше о структуре веб-сайта, ознакомьтесь с нашей статьей о том, как создать веб-сайт, который ранжируется и конвертируется.  

Дублированный контент

Адам Гент, SEO-фрилансер, поделился с SEO-сообществом интересным случаем . Его страница сообщала о том, что она просканирована, но в настоящее время не проиндексирована, потому что Google посчитал, что это дубликат страницы.

Google хочет предоставить пользователям уникальный и ценный контент. Поэтому, когда во время сканирования он понимает, что некоторые страницы идентичны или почти идентичны, он может проиндексировать только одну из них.

Обычно другой помечается как «Дубликат» в отчете о покрытии индекса. Однако это не всегда так, и иногда Google вместо этого присваивает статус Просканировано — в настоящее время не проиндексировано.

Не совсем понятно, почему Google может выбрать «Сканирование» — в настоящее время не индексируется выделенный статус для дублированного контента. Одно из возможных объяснений заключается в том, что статус изменится позже, после того как Google решит, есть ли более подходящий для страницы.

Другим вариантом может быть сообщение об ошибке . Google может просто ошибиться при присвоении статусов. К сожалению, ситуация более сложная, потому что Просканировано — в настоящее время не проиндексировано, не дает вам столько информации, сколько выделенный статус для дублированного контента.

Как проверить, отображается ли дубликат страницы в результатах поиска?

1. Перейдите на страницу, которая не проиндексирована, и скопируйте случайный фрагмент текста.
2. Вставьте текст в поиске Google в кавычках.
3. Проанализируйте результаты. Если появится другой URL-адрес с скопированным текстом, это может означать, что ваша страница не проиндексирована, поскольку Google выбрал для индексации другой URL-адрес.

Решение

Прежде всего, вы должны убедиться, что создаете оригинальные страницы. При необходимости — добавьте уникальный контент.

К сожалению, дублирование контента может быть неизбежным (например, у вас есть мобильная и десктопная версия). У вас нет большого контроля над тем, что появляется в результатах поиска, но вы можете дать Google некоторые подсказки об исходной версии.

Если вы заметили, что проиндексировано много дублированного контента, оцените следующие элементы:

• Канонические теги — эти HTML-теги сообщают поисковым системам, какие версии являются оригинальными.
• Внутренние ссылки — убедитесь, что внутренние ссылки указывают на исходный контент. Google может использовать его как индикатор того, какая страница важнее.
• XML Sitemaps — убедитесь, что в вашей карте сайта указана только каноническая версия.

Помните, что это только подсказки, и Google не обязан им следовать. В случае, описанном Адамом Гентом, Google выбрал версию RSS-канала для индексации, несмотря на то, что многие сигналы канонизации указывали на другой исходный URL. Адам решил проблему, настроив ошибку 404, чтобы гарантировать, что останется только исходная версия. Он также предложил настроить HTTP-заголовок X-robots для всех URL-адресов каналов, чтобы предотвратить их индексацию.

Просканировано – в настоящее время не проиндексировано по сравнению с Обнаружено – в настоящее время не проиндексировано

Статус «Просканировано — в настоящее время не проиндексировано» обычно путают с другой проблемой индексации в отчете «Покрытие индекса»: «Обнаружено» — в настоящее время не проиндексировано.

Оба статуса указывают на то, что страница не проиндексирована. Однако в случае Crawled — в настоящее время не проиндексировано, Google уже посетил страницу. Между тем, в Обнаруженных — в настоящее время не проиндексирован, URL известен Google, но почему-то еще не просканирован.

Некоторые из причин этих статусов могут быть схожими, включая некачественные страницы и проблемы с внутренними ссылками. Однако, когда вы видите статус «Обнаружено — в настоящее время не проиндексировано», вам необходимо дополнительно выяснить, почему Google не может или не хочет получить доступ к странице. Например, это может указывать на проблемы с общим качеством всего веб-сайта, проблемы с краулинговым бюджетом или перегрузку сервера.

Подведение итогов

Просканировано — в настоящее время не индексируется, в основном связано с качеством страницы, но на самом деле может указывать на многие другие проблемы, такие как архитектура веб-сайта или дублированный контент.

Вот основные выводы из статьи, которые могут помочь вам справиться со статусом «Просканировано — в настоящее время не проиндексировано»:

• Добавьте уникальный и ценный контент на свои страницы. После того, как вы это сделаете, отправьте эти URL-адреса в консоль поиска Google. Таким образом, Google может быстрее заметить изменения.
• Проверьте архитектуру своего веб-сайта и убедитесь, что на ваших ценных страницах есть внутренние ссылки.
• Решите, какие страницы следует и не следует индексировать, чтобы помочь Google определить приоритет наиболее ценных URL-адресов.

Если вам нужна помощь в устранении статуса «Просканировано — в настоящее время не проиндексировано» на вашем веб-сайте, наши услуги по технической оптимизации — это то, что вам нужно.