Что такое дублированный контент?

Дублированный контент относится к идентичному или очень похожему веб-контенту, найденному более чем в одном месте или по нескольким разным URL-адресам.

По оценкам Google и Raven Tools, дублированный контент составляет значительную часть Интернета — 25-30% и 29% соответственно. Таким образом, есть определенные вещи, которые вам необходимо знать о дублирующемся содержании и его связи с рейтингом вашего сайта в поисковых системах.

В этой статье мы поговорим о значении дублированного контента, о том, как возникают проблемы SEO дублированного контента и как их можно исправить.

Что означает дублированный контент в SEO?

Прежде чем мы поговорим о проблемах, связанных с дублированием контента SEO, нам нужно прояснить, что это означает с точки зрения SEO. Говоря о дублированном контенте , Google определяет его как существенные блоки контента, которые идентичны или заметно похожи и находятся внутри доменов или между ними.

Как уже упоминалось, несколько источников считают, что около четверти Интернета представляет собой повторяющийся контент.

Это может показаться большой проблемой, однако, когда дело доходит до дублирования контента в Интернете, все не так ужасно, как вы думаете.

Несмотря на то, что значительная часть контента повторяется в разных URL-адресах, это не всегда означает, что он был скопирован или украден. В большинстве случаев дублированный контент является совершенно невинным побочным продуктом многих факторов.

Как возникают проблемы с дублированием контента и SEO?

Иногда дублирование контента происходит намеренно, а иногда случайно. Хотя вы можете думать, что вы в безопасности, потому что все ваши тексты являются оригинальными, проблема дублированного контента все же может возникнуть.

На самом деле, в большинстве случаев дублированный контент не является злонамеренным, вводящим в заблуждение и, во многих случаях, даже непреднамеренным. Давайте рассмотрим основную причину, по которой ваш контент может появляться более чем в одном месте.

WWW против не-WWW и HTTP против HTTPS

Часто проблемы с дублированием контента вызваны простыми ошибками в настройке вашего сайта. Одним из упущенных аспектов является то, что ваш сайт доступен как в версии с www, так и в версии без www.
То же самое может произойти с сайтами HTTP и HTTPS.

По сути, ваш сайт будет доступен в одном из следующих мест:

• https://www.example.com
• https://example.com
• http://www.example.com
• http://example.com

Если ваш сайт доступен более чем на одном из них и вы не учитываете его должным образом, его можно считать дублирующимся контентом, хотя на самом деле это всего лишь одна страница.

Конечная косая черта

Другая похожая проблема возникает с косой чертой в конце. Обычно косая черта в конце обозначает каталог, а отсутствие косой черты обозначает файл. Независимо от того, на какой из них вы указываете, у вас может быть:

• http://example.com/foo/
• http://example.com/foo

Google рассматривает их как отдельные URL-адреса, что означает, что на обеих страницах может быть разный контент. Это хорошо с точки зрения Google, однако это плохо для пользователей. Люди сочтут эту конфигурацию запутанной, поэтому лучше, чтобы оба URL-адреса вели на одну и ту же страницу.

Это подводит нас к проблеме дублирования. Если оба URL-адреса доступны с одинаковым содержанием, вы скопировали свою страницу. С точки зрения Google, это один и тот же контент в двух разных местах, что может повредить вашему SEO-рейтингу, если его не решить.

Параметры URL и многогранная навигация

Многогранные поисковые системы — это удобный способ фильтрации товаров. Однако, если оставить их без управления, они могут создавать разные URL-адреса в результате многочисленных комбинаций с одинаковым содержанием. Это сказывается на вашем краулинговом бюджете и ссылочном весе.

Аналогичная проблема возникает с параметрами URL-адресов, такими как идентификаторы сеанса или идентификаторы отслеживания, когда одна и та же страница доступна по нескольким URL-адресам.

Альтернативные версии страницы

Следуя тенденции случайного дублирования контента, мы приходим к еще одной распространенной оплошности веб-мастеров — альтернативным страницам. Сайт, такой как «example.com/page», может отображаться под другим URL-адресом как:

• Страница для мобильных устройств – m.example.com/page.
• Страница для печати – example.com/print/page
• Ускоренная мобильная страница (AMP) – example.com/amp/page

Все эти версии дублируют содержимое страницы и вызывают проблемы, если их не исправить.

Пагинация

Когда дело доходит до страниц категорий, заголовков сообщений в блогах, обзоров пользователей или комментариев, контент может быть разбит на страницы с помощью нумерации страниц.

Опять же, если неправильно обработать, это может привести к дублированию контента по URL-адресам.

Скребки

Если кто-то украдет ваш контент и опубликует его на другом веб-сайте, у вас возникнет проблема с дублированным контентом. Google обычно может определить, какой сайт является исходным, однако вы можете захотеть обратиться к скребкам на всякий случай.

Синдикации

Если вы разрешаете другому веб-сайту повторно публиковать вашу работу, вы создаете междоменный дублированный контент. Хотя синдицированный контент не должен ранжироваться выше исходного сайта, вы можете принять меры предосторожности, чтобы этого не произошло.

Почему наличие дублированного контента является проблемой для SEO?

Хотя многие придерживаются идеи штрафа Google за дублированный контент , обычно вам не о чем беспокоиться.

Дублирование контента само по себе не является проблемой. Однако, если текст дублируется между доменами для управления ранжированием в поисковых системах, это становится проблемой.

Невинно дублированный контент и SEO

Google уверяет своих пользователей, что дублированный контент не понизит их рейтинг в поисковых системах, если контент честный и не является манипулятивным. Хотя это может быть правдой, дублированный контент может привести к снижению эффективности SEO.

Хотя Google уверен в странице, которую он выбирает для отображения в результатах поиска, иногда поисковая система ошибается.

Допустим, одна и та же страница доступна по нескольким URL-адресам. В таком случае Google сгруппирует повторяющиеся URL-адреса в кластер. Это может повлиять на вас несколькими способами:

1. Google выберет «лучший» URL как представитель кластера. Иногда вы и Google можете расходиться во мнениях относительно того, какой URL является «лучшим», что вызывает проблемы с брендингом и UX;
2. Хотя популярность ссылок должна быть консолидирована для всех членов кластера, Google может не обнаружить некоторые дубликаты. Это может привести к размытию ссылок и повредить вашим усилиям по ранжированию контента;

Кроме того, примите во внимание тот факт, что это явление может привести к неэффективному сканированию, оставляя Google меньше времени для просмотра вашего нового и обновленного контента.

Вычищенный и синдицированный контент

Независимо от того, разрешили ли вы другому сайту повторно публиковать вашу работу или ваш контент был удален, этот контент теперь отображается в нескольких доменах.

Как правило, это не должно вызывать проблем, но иногда, как бы редко это ни было, извлеченный или повторно опубликованный контент может превзойти оригинал.

К счастью, проблемы с дублирующимся контентом можно решить несколькими способами, которые помогут оптимизировать эффективность SEO.

Как проверить дублированный контент

Прежде чем вы сможете решить какие-либо проблемы, вам нужно знать, что они существуют в первую очередь. Это потребует от вас поиска дублирующегося контента на вашем сайте. Вы можете сделать это несколькими способами:

1. Консоль поиска Google

Консоль поиска Google может дать представление об эффективности вашей веб-страницы в результатах поиска. Эта служба также может помочь вам выявить проблемы с дублированием контента , например, путем поиска разных URL-адресов одного и того же рейтинга страниц в результатах поиска.

2. Поиск повторяющегося контента

Быстрый способ проверить наличие дублированного контента — выполнить поиск блоков текста на вашей странице — при поиске поместите слова в кавычки.

В идеале должна отображаться только ваша страница. Если есть другие результаты, у вас может быть проблема, хотя и не всегда. Вы можете попробовать это с несколькими предложениями.

Вы также можете использовать панель поиска Google для поиска своего сайта. Введите «сайт:», а затем URL-адрес, все в кавычках. Это покажет вам страницы, которые Google проиндексировал и которые потенциально могут ранжироваться.

3. Проверка дубликатов контента

Существуют различные средства проверки на плагиат, а также средства проверки дублирующегося контента Google , которые могут помочь вам определить, является ли ваш контент неоригинальным, имеет ли он внутреннюю проблему дублирования контента или был ли он переиздан.

Как устранить дублированный контент

Хотя Google довольно хорошо справляется с дублирующимся контентом, вы всегда можете принять более активное участие и решить возможные проблемы напрямую, чтобы добиться наилучших результатов.

Некоторые советы о том, что делать, включают в себя:

• Используйте перенаправление 301, канонический URL-адрес или перенаправление без индекса;
• Будьте последовательны в своих внутренних ссылках;
• Используйте домены верхнего уровня — TLD — для работы с контентом, относящимся к конкретной стране;
• Убедитесь, что сайты, содержащие синдицированный контент, содержат ссылку на вашу страницу или используют тег noindex;
• Объединение страниц с похожим содержанием;
• Подайте запрос DMCA в случае извлечения контента;

Обновление Panda для дублированного контента

Обновление Google Panda было запущено в 2011 году и стало невероятно важным изменением алгоритма Google. Хотя Panda не предназначалась специально для устранения дублирующегося контента на веб-сайтах, обновление действительно поощряет использование уникального и информативного текста, в том числе избегая повторяющегося контента.

Часто задаваемые вопросы о дублирующемся контенте

Что означает дублированный контент в SEO?

Дублированный контент представляет собой существенные блоки текста, которые либо полностью совпадают, либо заметно похожи на другой онлайн-контент. Повторяющийся контент составляет около четверти Интернета и в большинстве случаев не является обманчивым или вредоносным по своей природе.

Существует ли штраф за дублирование контента Google?

Штрафы Google за дублированный контент были искажены до такой степени, что в основном превратились в миф. Дублированный контент не подлежит наказанию, если только он не нарушает рекомендации Google для веб -мастеров и не намерен манипулировать результатами поисковой системы.

Влияет ли дублированный контент на SEO-рейтинг?

Дублированный контент может негативно повлиять на вашу SEO-стратегию. Google пытается объединить несколько URL-адресов, ведущих на одну и ту же страницу, и показывать исходные результаты выше, чем повторно опубликованный контент. Тем не менее, это не идеальная система, поскольку неблагоприятный URL-адрес или междоменная перепубликация могут иметь более высокий рейтинг, чем ваша исходная статья. Вот почему дублированный контент также необходимо активно решать.

Сколько дублированного контента допустимо?

Не существует точной меры, позволяющей предположить, какая часть имеющегося у вас контента может быть продублирована. Однако, как правило, не более 5% дублированного контента должно попасть на ваш сайт. Чтобы управлять этим процентом, прибегайте к онлайн-проверкам на плагиат.