Как оптимизировать дублированный контент для SEO

Дублированный контент — это одинаковый или похожий контент, существующий на нескольких страницах, в одном домене или на разных веб-сайтах.

Дублированный контент создает проблемы для поисковых систем , потому что, просматривая один и тот же контент в разных местах, они не знают, какой URL должен быть:

• Индексировано,
• Назначенные релевантные сигналы ранжирования и
• Выше в результатах поиска.

Это может привести к снижению рейтинга, трате краулингового бюджета и проблемам с индексацией вашего веб -сайта, что, в свою очередь, сведет на нет коммерческий потенциал ваших страниц .

Ради вашего бизнеса вам необходимо понимать, что может привести к дублированию контента и как оптимизировать аспекты вашего сайта, чтобы предотвратить любые проблемы — давайте изучим это.

Как дублированный контент влияет на SEO

Дублированный контент не всегда является проблемой — если вы используете техническое SEO, чтобы держать его под контролем, это не повредит вашему органическому трафику. Но если вы оставите дублированный контент неоптимизированным, это может иметь смертельные последствия.

Вот основные способы, которыми дублированный контент может негативно повлиять на ваш сайт:

Более низкие рейтинги

Несколько версий одного и того же содержания заставляют поисковые системы решать, какую страницу следует проиндексировать и представить в результатах поиска .

В этом случае ни одна из ваших дубликатов страниц никогда не сможет полностью достичь своего рейтингового потенциала, если они будут просканированы и проиндексированы в первую очередь.

Уменьшенная передача полномочий по ссылке

Поисковые системы могут иметь трудности с точным присвоением сигналов ранжирования от обратных ссылок к дублирующимся страницам .

Если один и тот же контент существует на нескольких страницах, несколько URL-адресов могут получать ссылки с других доменов. Но тогда общий авторитет ссылок будет разделен между страницами, что ограничит рейтинговый потенциал вашего контента.

Проблемы с индексацией и потраченный впустую краулинговый бюджет

Если у вас большой веб-сайт, краулинговый бюджет часто вызывает беспокойство. И поисковые системы могут тратить краулинговый бюджет на сканирование дубликатов страниц .

Вы всегда хотите, чтобы краулинговый бюджет тратился на сканирование ценного контента. Когда вы оставляете неоптимизированный повторяющийся контент в своем домене, роботы поисковых систем могут тратить часть своих ресурсов на ненужное сканирование одного и того же контента снова и снова.

Это не только задержит их обнаружение другого контента на вашем сайте, но также может отбить у них охоту возвращаться на ваш сайт так часто.

В этом случае вы рискуете столкнуться с проблемами индексации . Имейте в виду, что в большинстве случаев Google будет рассматривать различные сигналы, такие как карты сайта, внутренние и внешние ссылки, перенаправления и другие, и выбирать один из многих URL-адресов для индексации. Проблема в том, что это может быть не та версия, которую вы хотите проиндексировать.

Если Google не может просканировать некоторые из ваших страниц, вам может быть сложно проиндексировать важные уникальные страницы.

Кроме того, наличие большого количества повторяющихся страниц может привести к тому, что поисковые системы сочтут весь ваш веб-сайт некачественным , если другие страницы содержат аналогичный контент. Тогда они могут не решиться выделить ресурсы для сканирования вашего сайта в будущем.

Может ли дублированный контент привести к штрафу Google?

Возможно, вы слышали противоречивые мнения о том, может ли дублированный контент привести к штрафу Google.

Дублированный контент не приведет к наказанию вашего сайта, если только он не является результатом злонамеренных действий .

Скрапинг контента — пример манипулятивной практики, связанной с дублированием контента. Это происходит, когда кто-то берет контент с ваших страниц, чтобы повторно опубликовать его на своем сайте.

Такие практики относительно редки, потому что они обычно вызывают проблемы только в том случае, если сайт парсинга является более авторитетным и ему удается превзойти веб-сайт, который изначально опубликовал контент.

Вы можете добавить средства защиты своего контента от подобных практик, внедрив самореферентные канонические теги, указывающие на ваши существующие страницы, чтобы сообщать поисковым системам, что исходный контент исходит от вас.

В тех редких случаях, когда Google считает, что дублированный контент может быть показан с целью манипулирования нашим рейтингом и обмана наших пользователей, мы также внесем соответствующие коррективы в индексирование и рейтинг соответствующих сайтов. В результате может пострадать рейтинг сайта или сайт может быть полностью удален из индекса Google, и в этом случае он больше не будет отображаться в результатах поиска.

источник: документация Google

Google может различать типы дублированного контента и понимает, какой дублированный контент не влияет на ранжирование в поиске.

Примеры невредоносного дублированного контента могут включать:

• Дискуссионные форумы, которые могут создавать как обычные, так и урезанные страницы, ориентированные на мобильные устройства.
• Товары в интернет-магазине, которые отображаются или на которые ссылаются несколько разных URL-адресов
• Версии веб-страниц только для печати

источник: документация Google

Если вы не крадете контент с других сайтов целенаправленно , вам не о чем беспокоиться.

Каковы причины дублирования контента

Обычно вам не нужно несколько версий одного и того же контента на вашем сайте.

Поэтому дублированный контент, как правило, возникает из-за ошибок, а не из-за сознательных решений.

Чаще всего дублированный контент появляется из-за плохой веб-разработки и некорректной реализации на сайте , например, из-за неправильных конфигураций сервера или неоптимизированных платформ CMS.

Мы можем найти дубликаты на всех типах сайтов, но некоторые из них более склонны к этому, особенно огромные веб-сайты с тысячами или миллионами страниц.

В частности, сайты электронной коммерции могут иметь дело с чрезмерным количеством повторяющихся страниц, которые трудно отслеживать.

Дублированный контент на сайтах электронной коммерции часто относится к следующим аспектам:

• Страницы продуктов практически не содержат контента или содержат только общие описания продуктов на многих страницах. Если страница содержит описание данного продукта от производителя, оно также может отображаться в других доменах, и Google может рассматривать его как дублированный контент.
• На страницах категорий есть фильтры, которые отображают списки одних и тех же продуктов на нескольких страницах.

Идентичный контент по нескольким URL-адресам также относится к статьям в блогах .

Сайты могут включать в себя сравнительные статьи, перечисление функций продуктов или инструментов, где многие элементы контента могут описывать одни и те же инструменты, продукты или функции на нескольких страницах.

В разделах блога могут быть статьи, соответствующие нескольким категориям, в результате несколько URL-адресов могут вести к одной и той же статье.

Новостные сайты часто используют теги для сбора контента по связанным темам, но в некоторых случаях страницы могут использовать несколько тегов и отображаться в разных местах на сайте.

Риск дублирования контента также касается веб-сайтов, которые отображают списки, полученные из баз данных, используемых другими доменами , такими как торговые площадки или сайты недвижимости. Следовательно, идентичные объявления или сообщения могут появляться в нескольких доменах.

Многие сайты используют пользовательский контент . Хотя это потенциально полезно, это может быть еще одним источником дублированного контента — это относится к любому сайту, который содержит сообщения, рекламу, страницы профилей и т. д., созданные пользователями. Часто пользователи могут написать всего несколько слов, используя скопированный или спамный текст, или добавить только ссылку на свой сайт на странице профиля.

Это ни в коем случае не исчерпывающий список причин дублирования контента, но он должен дать вам представление о том, какой тип контента подвергает риску ваш сайт и должен отслеживаться.

Способы управления дублирующимся контентом

В зависимости от качества и роли ваших дубликатов страниц в иерархии сайта вы можете решать их различными способами.

Вот какие у вас есть варианты и что вы должны знать о каждом решении:

Используйте канонические теги

Канонические теги сообщают поисковым системам, какая страница содержит основную версию данного контента и должна быть проиндексирована.

С помощью канонизации вы можете информировать поисковые системы о том, что данная страница должна рассматриваться как копия указанного URL . Сигналы ранжирования, такие как авторитет ссылки, применяемый к этой странице поисковыми системами, должны быть зачислены на указанный URL-адрес.

Внедрение канонических тегов требует меньше времени на разработку, чем другие решения, такие как редиректы, потому что они добавляются на странице, а не на уровне сервера. Обязательно добавьте канонические теги в раздел <head> HTML — если вы поместите их в <body>, они не будут соблюдаться.

Хотя боты поисковых систем обычно следуют канонической директиве, в некоторых случаях они могут игнорировать ее и выбирать другую каноническую страницу. Это может произойти, если поисковые системы увидят более сильные сигналы, указывающие на другой URL-адрес, например, больше внутренних ссылок или авторитетных обратных ссылок.

Добавить редиректы

Еще одно решение для борьбы с дублирующимся контентом — реализовать перенаправления с нежелательных URL-адресов на их предпочтительные версии.

Если вы постоянно перенаправляете URL-адрес, используйте переадресацию 301, которая обычно является лучшим вариантом, когда речь идет об управлении дублирующимся контентом.

Перенаправления помогают объединить сигналы ранжирования по одному URL , поэтому Google должен индексировать только целевую страницу.

Реализовать тег noindex

Вы можете добавить тег noindex к страницам, которые являются дубликатами и не должны индексироваться поисковыми системами, но должны оставаться видимыми для пользователей .

Однако убедитесь, что вы не блокируете сканирование этих страниц — если вы это сделаете, боты не смогут увидеть тег noindex.

Удалить дубликаты страниц

Вы можете удалить повторяющиеся страницы , если они бесполезны для ваших посетителей или вашего бизнеса, и вы не планируете вносить в них улучшения.

Вы можете удалить их, изменив их код состояния на 404 или 410 .

Оба кода состояния имеют одинаковые долгосрочные последствия. Разница лишь в том, что 410 может удалять страницы из индекса и ограничивать их сканирование быстрее, чем 404.

Рекомендации по устранению дублированного контента

Давайте рассмотрим аспекты, которые необходимо учитывать при дублировании страниц, чтобы решить потенциальные проблемы.

Решите, следует ли сканировать дубликаты страниц.

Подумайте , следует ли разрешить поисковым системам сканировать дубликаты страниц . Это во многом зависит от типа дублированного контента и того, что вы собираетесь с ним делать.

Google должен иметь возможность сканировать страницы, если они содержат перенаправления , иначе он их не увидит. Ситуация аналогична, если вы добавили теги noindex — Google должен просканировать страницу, чтобы обнаружить тег noindex и следовать ему.

Кроме того, если вы внесли улучшения в свои дубликаты , например, добавив уникальный контент, Google потребуется просканировать страницу, чтобы переоценить ее качество.

Если у вас есть дублированный контент, который не представляет ценности для вашего сайта, и вы не можете вносить в него изменения, ограничьте возможность поисковых систем сканировать его, внедрив соответствующую директиву в robots.txt .

Настройте структуру URL

Несогласованные структуры URL -адресов могут привести к большому количеству дублированного контента.

Вот аспекты URL, на которые следует обратить внимание:

Wwws и без www или HTTP и HTTPS

На вашем сайте могут быть URL-адреса, к которым можно получить доступ без www, например example.com , и через URL-адреса, содержащие www, например www.example.com .

Та же проблема касается протокола: URL-адреса могут включать http://example.com или https://example.com .

Большинство современных веб-сайтов используют HTTPS, поскольку он обеспечивает более безопасную связь. Но иногда у вас все еще могут быть некоторые страницы, которые все еще доступны по HTTP. И, если вы перешли на HTTPS и не перенаправляли сайт с HTTP, вы можете даже создать две его версии.

Независимо от того, добавляете ли вы www или нет, и какой бы протокол вы ни использовали, убедитесь, что он непротиворечив .

Если вы обнаружите какие-либо URL-адреса, которые не соответствуют выбранному шаблону, внедрите переадресацию 301 для нежелательных путей, которые ведут к предпочтительной версии.

Строчные и прописные символы

Google обрабатывает URL-адреса как чувствительные к регистру . Таким образом, для Google example.com/page и example.com/PAGE будут двумя разными страницами.

В URL-адресах принято использовать символы нижнего регистра, чтобы пользователям было проще вводить их без ошибок.

Однако, если вы используете случаи взаимозаменяемо, вы можете создать разные URL-адреса с одним и тем же содержимым.

Если вы обнаружите подобные случаи, выберите URL-адрес с предпочтительным регистром и перенаправьте на него неправильную версию .

Завершающие косые черты

Идентичные URL-адреса с косой чертой в конце и без нее также будут рассматриваться как разные страницы, например, example.com и example.com/ .

Еще раз убедитесь, что вы придерживаетесь одного и того же шаблона URL и при необходимости перенаправляете не те страницы .

Отслеживание или фильтрация параметров

Параметры фильтрации на сайтах электронной коммерции обычно приводят к дублированию страниц.

Если доступно много фильтров, их можно выбирать в разных комбинациях, создавая горы URL-адресов с одинаковым или почти идентичным содержанием. Примером этого может быть https://www.example.com/clothes/dresses?size=medium .

Параметры также часто используются для целей отслеживания , что является еще одним источником дублированного контента. Например, вы можете добавить параметры UTM для отслеживания посещений из определенных источников, таких как Twitter или новостная рассылка. Вот пример: https://example.com/page?utm_source=twitter .

Вы должны канонизировать ваши параметризованные URL-адреса в версии URL-адресов без параметров отслеживания .

Идентификаторы сеанса

Сеансы могут хранить информацию о посетителях для веб-аналитики, где каждому пользователю, посещающему веб-сайт, назначается другой идентификатор сеанса, хранящийся в URL-адресе. Это может выглядеть так: https://example.com?sessionId=jsdfo74256sdfh .

Если к каждому URL-адресу, запрашиваемому посетителем, добавляется идентификатор сеанса, то будет много дублирующихся страниц, поскольку содержимое этих URL-адресов одинаково.

Канонизировать URL-адреса с добавленными идентификаторами сеанса к URL-адресам без них.

URL-адреса только для печати

Наличие версии страницы для печати по отдельному URL-адресу означает наличие двух версий одного и того же контента, например, https://www.example.com/page/ и https://www.example.com/print . /страница/ .

Внедрите канонический URL из версии для печати в стандартную версию страницы.

Оптимизируйте свой контент

Вы можете внести дополнительные коррективы, сосредоточившись на содержании своих страниц.

Суть в том, что если у вас есть ценные страницы, которые должны ранжироваться и привлекать трафик, убедитесь, что они содержат уникальный, высококачественный контент, ориентированный на конкретные намерения пользователя.

Хотя это отнимает много времени и ресурсов, в долгосрочной перспективе это будет полезно.

Вот некоторые аспекты контента, которые следует учитывать при оптимизации:

Улучшить страницы продукта

Предоставляйте уникальные описания продуктов вместо копирования общего описания от производителя.

Часто задаваемые вопросы — отличное место для включения дополнительной информации о ваших продуктах или услугах. Однако будьте осторожны — если вы укажете точные данные, упомянутые в описании продукта, это может быть частичное дублирование контента.

Настройте страницы категорий

Каждая страница категории должна быть уникальной и релевантной . Просмотрите свои категории и подумайте, нужна ли каждая из них — насколько они полезны для пользователей?

Подумайте об удалении некоторых или объединении их в один. Сделайте то же самое для любых параметров фильтрации или сортировки, доступных в категориях.

Консолидация контента

Если у вас есть несколько статей, посвященных связанным темам, рассмотрите возможность объединения их в одну большую часть контента , которая может стать ее наиболее полной версией.

Таким образом, вы можете создавать полезный контент, предоставляющий всю информацию в одном месте, а не распределять ее по нескольким URL-адресам, сводя к минимуму количество похожих страниц.

Также может быть лучше ранжироваться с одной высококачественной статьей, чем с несколькими посредственными, нацеленными на одну и ту же тему.

Создавайте дополнительный контент

Рассмотрите возможность создания дополнительного контента , который может сделать страницы более уникальными и ценными, а также повысить их шансы на индексацию и ранжирование. Подумайте об улучшении пользовательского опыта и о том, что больше всего поможет посетителям .

Например, предположим, что у вас есть веб-сайт с предложениями о работе.

В этом случае вы можете создать калькулятор заработной платы. Вы можете предоставить дополнительную информацию, которую посетители могут искать, описав различные типы контрактов, объяснив каждый вычет, предоставив плюсы и минусы для различных форм занятости и так далее.

Просмотрите страницы с небольшим содержанием и подумайте, можно ли что-то добавить.

Но если вы не можете их улучшить , и они предлагают ограниченную ценность для пользователей и не могут привлечь органический трафик на ваш сайт, лучше всего добавить тег noindex, чтобы предотвратить их индексацию.

Используйте пользовательский контент

Уникальный всеобъемлющий контент, созданный пользователями, может быть полезен для вашего сайта. Например, вы можете поощрять клиентов оставлять отзывы и отображать их на своих страницах.

Обзоры могут содержать реальные описания того, как клиенты используют ваши продукты или их опыт использования ваших услуг, обогащая ваш сайт.

В частности, страницы продукта могут получить пользу от подробных, непредвзятых обзоров, содержащих изображения и конкретную информацию о продукте.

Внедрение определенных механизмов, таких как минимальное количество символов, которое пользователь должен написать, чтобы опубликовать отзыв или рекламу на вашем сайте, является отличным подходом к предотвращению недостаточного или дублированного пользовательского контента.

Оптимизируйте показ международного контента

Если у вас есть несколько языковых версий вашего сайта с одинаковым содержанием, версии на разных языках не будут считаться дубликатами.

Однако могут возникнуть проблемы , если у вас есть одинаковый контент и вы используете его для таргетинга на людей из разных регионов, говорящих на одном языке . Например, у вас может быть один и тот же контент на разных англоязычных версиях сайтов — одна для США, одна для Канады и одна для Великобритании.

Если вы предоставляете один и тот же контент разным аудиториям, используйте теги hreflang , чтобы сообщить Google, какой язык и страну вы пытаетесь охватить.

Иногда, даже при наличии атрибутов hreflang, Google может классифицировать контент как дубликат и просто складывать две или более версий вместе. Во многих случаях это может быть не серьезной проблемой, но может негативно повлиять на работу пользователей.

Вот почему вам следует просто избегать показа одного и того же контента на нескольких страницах.

Постарайтесь локализовать свой контент , особенно для стратегических международных рынков . Локализация — это не только перевод — вам нужно сделать ее подходящей для конкретной страны, на которую вы ориентируетесь, принимая во внимание местную лексику, обычаи, валюту и т. д.

Управление внутренними ссылками

После того, как вы определитесь с предпочтительной версией URL-адресов, проверьте внутренние ссылки вашего сайта и убедитесь, что каждая из них указывает на правильную версию URL-адреса.

Синдикатируйте контент правильно

При синдикации контента исходный источник должен быть выбран как канонический.

Точно так же, когда другой сайт синдицирует ваш контент, убедитесь, что он включает ссылку на ваш исходный контент и указывает на правильный URL-адрес.

Отключить доступ к промежуточным средам

Промежуточные или тестовые среды содержат копию сайта, доступную в рабочей среде. Поэтому их нельзя сканировать или индексировать для поисковых систем. Чтобы предотвратить доступ к ним ботов и пользователей, внедрите HTTP-аутентификацию.

Сделать внутренние страницы результатов поиска неиндексируемыми

Посетители, использующие результаты вашего внутреннего поиска, просматривают разные варианты ваших страниц, как правило, с идентичными или похожими URL-адресами.

Убедитесь, что вы не ссылаетесь на внутренние страницы результатов поиска, чтобы боты не могли найти и просканировать их.

Вы должны добавить теги noindex к этим страницам, чтобы они не индексировались. Однако, если вы видите, что боты чрезмерно сканируют эти страницы, вы можете ограничить их доступ в файле robots.txt.

Стоит отметить, что в некоторых случаях вы действительно можете захотеть, чтобы некоторые из ваших страниц внутреннего поиска были проиндексированы, но только некоторые из них. Если вы проанализируете, как ваши пользователи ищут ваш контент в Google, и увидите, что страница внутреннего поиска может идеально соответствовать намерениям пользователя, смело делайте эту страницу индексируемой.

Предотвращение проблем с дублированием контента, вызванных CMS

Платформы CMS вызывают свою долю проблем с дублированием контента.

Например, WordPress автоматически генерирует страницы тегов и категорий . Такие страницы могут быть серьезной тратой ресурсов поисковых роботов.

WordPress также создает пагинацию комментариев , где страницы с разбивкой на страницы показывают исходный контент и отображают только разные комментарии внизу.

Вы также можете обнаружить, что ваша CMS создает отдельные страницы для изображений , не содержащих никакого другого контента.

Добавьте теги noindex к нежелательным страницам или отключите эти функции в вашей CMS.

Как найти проблемы с дублированием контента на вашем сайте

Есть несколько быстрых способов проверить, не дублировался ли ваш контент.

Вы можете использовать такой инструмент, как Copyscape , чтобы увидеть, какой контент с ваших страниц появляется в Интернете.

Чтобы узнать о проблемах с дублированием контента на вашем сайте, используйте Siteliner , который показывает, как страницы вашего сайта соответствуют контенту друг друга.

Отчет о покрытии индекса Google

Чтобы более подробно проанализировать проблемы с дублирующимся контентом, посетите отчет об индексировании Google Search Console, в котором будут показаны конкретные проблемы и способы их решения.

Там вы можете найти следующие ошибки, указывающие на проблемы индексации, связанные с дублирующимся контентом:

Дублировать без выбранного пользователем канонического

Google обнаружил повторяющиеся URL-адреса, которые не канонизированы до предпочтительной версии. Вы можете проверить, какой URL-адрес был выбран в качестве канонического, перейдя к инструменту проверки URL-адресов .

Чтобы решить эту проблему, рекомендуется выбрать канонический URL самостоятельно.

Дубликат, Google выбрал другой канонический, чем пользовательский

Google проигнорировал указанный канонический URL и выбрал другой, который показался ему более подходящим.

Эта проблема указывает на то, что Google не нашел достаточно сигналов, указывающих на указанный URL-адрес , представляющий основную версию данного контента. Узнайте, как исправить дубликат, Google выбрал другой канонический, чем пользовательский .

Повторяющийся отправленный URL не выбран в качестве канонического

Этот статус указывает на то, что вы отправили URL-адреса без канонического URL-адреса и что Google считает отправленные URL-адреса дубликатами, поэтому он выбрал другой канонический.

Хотя этот статус аналогичен дубликату, Google выбрал не канонический, а пользовательский, разница в том, что вы явно запросили Google проиндексировать эти URL-адреса без включения канонического URL-адреса .

Еще раз вам нужно добавить канонические теги к предпочтительному URL-адресу.

Резюме

Дублированный контент не приведет к штрафным санкциям Google, но все же может существенно замедлить рост вашего сайта в Интернете.

Вот почему вы должны знать о любых дублирующихся страницах и следить за своими реализациями, чтобы убедиться, что нет механизма, который создает множество страниц без вашего контроля.

Создание уникального контента на страницах, обеспечение согласованности URL-адресов и внедрение канонических тегов и перенаправлений, где это уместно, — отличные способы помочь Google правильно индексировать и ранжировать ваши страницы.