Что такое Soft 404 в SEO?

Soft 404 — это не официальный код состояния HTTP, а расширенный алгоритм, который помогает Google определить, не существует ли страница (или на ней мало контента) , даже если код состояния HTTP не указывает на это.  

Однако алгоритм не идеален, и Google может ошибиться при классификации страницы.

Независимо от причины мягких ошибок 404, они негативно влияют на ваш сайт и снижают его видимость в органическом поиске.

Из этой статьи вы узнаете, как программные ошибки 404 влияют на ваш сайт, что может их вызвать и что вы можете сделать, чтобы их исправить.

Что такое софт 404?

Серверы взаимодействуют с клиентами (например, браузерами или роботами поисковых систем) с помощью кодов состояния HTTP.

Если запрос страницы выполнен успешно, сервер возвращает код состояния HTTP 200. Если страница отсутствует, сервер отвечает статусом 404 (не найдено).

Когда пользователи запрашивают несуществующую страницу, они видят в своем браузере сообщение о том, что что-то пошло не так. Однако сообщение, отображаемое браузером, не всегда соответствует коду состояния HTTP.

Вот где в игру вступает soft 404.

Soft 404 — это ярлык, который Google присваивает странице, когда кажется, что страница не существует, и в то же время возвращает успешный код состояния HTTP 200.

Если Google решает, что страница представляет собой программную ошибку 404, она замедляет ее сканирование.

Если мы увидим ее [страницу] как мягкую 404, это будет похоже на 404, и мы замедлим сканирование этого конкретного URL-адреса, потому что здесь ничего нет — почему мы должны сканировать его каждый день?

источник: Джон Мюллер

Обнаружение программных ошибок 404 важно с точки зрения поисковой системы по двум причинам:

1. У Google ограниченные ресурсы. Сеть бесконечно велика, и просканировать все страницы просто невозможно. Вот почему Google необходимо расставлять приоритеты и выбирать, какие страницы стоит сканировать. Исключение мягких ошибок 404 позволяет сосредоточиться на более ценных страницах, тем самым повышая эффективность сканирования.
2. Google хочет представить качественные страницы своим пользователям. Если Google подозревает, что страницы не существует, очевидно, что никто не хочет ее искать, и она не должна отображаться на странице результатов поиска.

Как Soft 404 влияет на ваш сайт

Последствия для вашего веб-сайта могут различаться в зависимости от того, какой тип страниц классифицируется Google как программная ошибка 404.

Если Google был прав и страницы действительно не существует, главным последствием будет трата краулингового бюджета .

Ваш краулинговый бюджет указывает количество страниц, которые Google может и хочет просканировать на вашем веб-сайте. Если у вас есть, например, 100 000 страниц, а ваш краулинговый бюджет позволяет сканировать 50 000, важно убедиться, что бюджет расходуется на ценные страницы. Если Google тратит ваш краулинговый бюджет на сканирование программных ошибок 404, может не хватить страниц, которые наиболее важны для вас и приносят вам трафик.

Другая сторона медали — это когда Google ошибается при присвоении статуса и считает ценную страницу мягкой 404. В этом случае страница не будет проиндексирована и не принесет органического трафика.

Как обнаружить софт 404?

Вы можете проверить, какие страницы Google сообщает как программные 404 в консоли поиска Google в отчете о покрытии индекса.

Откройте отчет, щелкнув параметр «Покрытие» на боковой панели.

Если Google считает, что страница является программной ошибкой 404, она может присвоить ей один из следующих двух статусов:

• Soft 404 (исключенная категория) или
• Отправленный URL-адрес, похоже, является Soft 404 (категория ошибки).

Единственная разница между этими статусами заключается в том, как Google обнаружил URL.

В случае со статусом «Отправленный URL-адрес выглядит как Soft 404» Google нашел его в вашей карте сайта (текстовый файл, созданный владельцами веб-сайтов, в котором должны быть указаны только страницы, которые вы хотите проиндексировать). Между тем, в случае со статусом «Soft 404» Google нашел этот URL самостоятельно.

Вы можете увидеть список отдельных URL-адресов, сообщающих о программных ошибках 404, нажав на любой из этих статусов. Эти данные доступны для экспорта, но существует ограничение в 1000 URL-адресов. Если вы хотите экспортировать больше и иметь более одной карты сайта, вы можете загрузить URL-адреса для каждой карты сайта отдельно.

Отчет о покрытии индекса — не единственное место, где можно увидеть статус URL-адреса.

В инструменте проверки URL-адресов в Google Search Console вы можете дважды проверить отдельные URL-адреса. Если вы хотите проверить более одного URL-адреса, вы можете использовать API проверки URL -адресов и проверить до 2000 URL-адресов одновременно.

Если вы видите разницу между статусами в отчете о покрытии индекса и в инструменте проверки URL, возможно, это просто задержка в отчете о покрытии индекса. В этом случае доверяйте инструменту проверки URL, поскольку он показывает более свежие данные.

Это связано с тем, что данные отчета о покрытии индекса обновляются с другой (и более медленной) скоростью, чем данные проверки URL. Результаты, показанные в проверке URL-адресов, являются более свежими, и их следует рассматривать как достоверные, если они противоречат отчету о покрытии индекса. (2/4)

— Google Search Central (@googlesearchc) 11 октября 2021 г.

Обнаружение программной ошибки 404 на мобильных устройствах и на настольных компьютерах

В 2021 году Google представил обновленную информацию о том, как он обнаруживает программные ошибки 404 на мобильных телефонах и настольных устройствах.

Выяснилось, что в мобильной и десктопной версиях статус может присваиваться по-разному. Однако, поскольку Google Search Console сообщает статусы на основе мобильной версии, она не покажет вас, если только ваша настольная версия помечена как soft 404.

По сути, иногда мы видим страницы, которые на десктопе выглядят как страница 404, поэтому мы говорим, что это мягкая 404 на десктопе, нам не нужно ее индексировать. А на мобильных устройствах это выглядит как обычная страница, поэтому там мы ее и проиндексируем.

[…] в Search Console мы показываем программные ошибки 404, но мы показываем их для мобильной версии. То есть, если на мобильной версии с вашей стороны все в порядке, то в Search Console она будет выглядеть так, будто она индексируется нормально […], тогда как для десктопной версии, если мы ее там видим как soft 404, вы не сможете увидеть это прямо в Search Console.

источник: Джон Мюллер

Что может вызвать софт 404 и как это исправить

Есть несколько разных причин, по которым Google может классифицировать страницу как мягкую 404, в том числе:

• Страница 404, отвечающая кодом состояния HTTP 200,
• Нерелевантные перенаправления,
• Страницы с небольшим содержанием или без него,
• Страницы, содержащие слова, подобные 404,
• Проблемы с рендерингом.

Страница 404 отвечает кодом состояния HTTP 200

Если страница на самом деле является страницей 404, но возвращает код состояния HTTP 200, Google классифицирует ее как мягкую 404.

Это то, на что следует обратить особое внимание, если у вас есть пользовательская страница 404.  

Пользовательская страница 404 может быть полезна для ваших пользователей и позволит им исследовать веб-сайт, даже если страница, которую они пытались открыть, не существует. Однако нередко эти страницы возвращают код состояния HTTP 200.

Вам следует избегать этой ситуации, потому что Google продолжает сканировать эти страницы, что тратит впустую ваш краулинговый бюджет.

Решение этой проблемы состоит в том, чтобы настроить сервер так, чтобы он возвращал правильный код состояния для несуществующих страниц (404 Not Found).  

Нерелевантные перенаправления

Перенаправление на нерелевантную страницу — плохая практика, которая может запутать пользователей. Вот почему, если Google обнаружит, что перенаправление указывает на несвязанную страницу, поисковая система может не следовать ему и рассматривать страницу как программную ошибку 404.

Да, это не очень хорошая практика (сбивает пользователей с толку), и мы все равно в основном рассматриваем их как 404 (они мягкие 404), так что в этом нет ничего хорошего. Это не критично/плохо, но дополнительная сложность без уважительной причины — вместо этого сделайте лучшую страницу 404.

— Джон (@JohnMu) 8 января 2019 г.

Чтобы решить эту проблему, всегда перенаправляйте на соответствующие страницы.  

Посмотрите на контент с точки зрения пользователей. Например, если пользователь искал что-то конкретное, имеет ли смысл, чтобы он оказался на странице, на которую вы перенаправляетесь? Тематически актуально? Если нет, возможно, есть лучшая страница, которая могла бы соответствовать их намерениям, или, возможно, вам следует настроить страницу 404 вместо перенаправления.

Страницы с небольшим содержанием или без него

Небольшой контент или его отсутствие на странице может заставить Google подумать, что страница пуста, и классифицировать ее как мягкую 404.

Примером может служить веб-сайт электронной коммерции, на котором товары часто появляются и исчезают со склада, что приводит к пустым категориям товаров.

Решение этой задачи не так просто, как в двух предыдущих случаях.

Один из способов решения этой проблемы — заблокировать индексацию пустых страниц. В конце концов, если это пустая страница, она бесполезна для ваших пользователей и не должна индексироваться. Вы можете сделать это, добавив метатег noindex (тег HTML, сообщающий поисковым системам, что вы не хотите, чтобы эта страница индексировалась).

Кроме того, стоит переосмыслить структуру всего вашего веб-сайта.

У вас много категорий товаров, в которых есть, например, только один товар? Если это так, вам следует еще раз подумать, нужны ли эти категории на вашем веб-сайте. Подобные страницы могут считаться неполноценным контентом, и они могут негативно повлиять на ваш сайт двумя способами:

• Они могут растратить ваш краулинговый бюджет и
• Если у вас много некачественных, индексируемых страниц, Google может решить, что весь ваш веб-сайт некачественный, и решить прекратить сканирование вашего веб-сайта так часто.

Если вы хотите узнать больше о том, какие страницы следует и не следует индексировать, прочитайте нашу статью о создании стратегии индексации вашего веб-сайта.

Страницы, содержащие слова, подобные 404

Иногда алгоритмы Google ошибочно идентифицируют страницу, если она содержит слова, которые обычно появляются на странице 404. Это может произойти, например, на веб-сайтах электронной коммерции, когда на странице продукта используются такие термины, как «нет в наличии», «продукт недоступен» или «мы не доставляем в ваше местоположение».

На всех страницах категорий было написано «Извините, мы не доставляем в это место». Это было показано клиентам, вводившим PIN-код, который мы не доставляем, но который по умолчанию был частью страницы. Удалил этот текст со страницы, что исправило софт 404! #seo @JohnMu @methode @rustybrick https://t.co/j3UEsXXb3U

— Нихил Радж. Р (@nikhilrajr) 30 декабря 2021 г.

Автор вышеуказанного поста устранил проблему, просто удалив слова , указывающие на то, что доставка недоступна.

Проблема с рендерингом

Рендеринг — это необходимый шаг для Google, чтобы увидеть ваш контент. Если поисковая система этого не видит, она может подумать, что страница пуста, и классифицировать ее как мягкую 404.

Одной из причин проблем с рендерингом является блокировка ресурсов, таких как CSS или JavaScript, в файле robots.txt. Robots.txt — это файл, который позволяет указать, какие страницы роботы поисковых систем могут сканировать, а какие нет. Если Google не сможет получить доступ к ресурсам, необходимым для рендеринга, он не сможет увидеть контент.

Чтобы узнать, правильно ли Google отображает ваш контент, используйте инструмент проверки URL в Google Search Console. Вы можете проверить отдельные URL-адреса и посмотреть, как Google видит ваши страницы. Если содержимое отсутствует, это указывает на проблему рендеринга.

Чтобы решить эту проблему, убедитесь, что у Google есть доступ к ресурсам, необходимым для рендеринга. Проверьте файл robots.txt и убедитесь, что сканирование CSS и JavaScript разрешено.

Если вы хотите узнать больше о том, как работает рендеринг, ознакомьтесь с нашим манифестом SEO для рендеринга — почему JavaScript SEO недостаточно.

Подведение итогов

Мониторинг программных ошибок 404 важен, чтобы гарантировать, что они не навредят вашему веб-сайту, тратя впустую ваш краулинговый бюджет или оставляя ценные страницы вне индекса.

Вот ключевые выводы из статьи, которые помогут вам избежать мягких ошибок 404:

• Если страница не существует, убедитесь, что она возвращает код состояния HTTP 404,
• При создании перенаправления всегда убедитесь, что вы перенаправляете на релевантный контент,
• Не блокируйте ресурсы, необходимые для рендеринга, такие как файлы CSS или JavaScript, в файле robots.txt.
• Если у вас есть пустые страницы, добавьте метатег noindex или удалите эти страницы с вашего сайта,
• Будьте внимательны при использовании фраз, подобных 404. Если вы заметили, что ваша страница, например, с товаром, которого нет в наличии, помечена как мягкая 404, попробуйте удалить слова или использовать другие термины.