Полное руководство по каноническому тегу для SEO

Канонические теги позволяют указать, какая из нескольких повторяющихся страниц является основной, предпочтительной версией страницы.

Любой веб-сайт может страдать от проблем с дублированием контента, и вы можете не знать, что часть вашего контента рассматривается как дубликат.

Без канонического тега вы находитесь во власти поисковых систем — они сами выберут каноническую версию. И они вполне могут выбрать тот, который вы не считаете репрезентативным для данного контента. Это может серьезно повлиять на вашу видимость в поиске и ранжирование.  

В этом руководстве объясняются характеристики и рекомендации по использованию канонических тегов для решения проблем с дублированием контента на вашем веб-сайте.

Что такое канонические теги?

Канонический тег — это фрагмент кода, указывающий основную (каноническую) версию страницы, когда существует более одной версии этой страницы.

Используя тег canonical, вы можете указать поисковым системам, какой URL-адрес должен быть проиндексирован и отображаться в результатах поиска.

Самый распространенный метод реализации канонических тегов — добавить следующий фрагмент кода в HTML-код страницы:

 <link rel="canonical" href="https://example.com/sample-page/" />

Код означает, что каноническая страница находится по указанному URL.

Канонические теги используются для решения проблем с дублированием контента, но какой контент поисковые системы считают дублирующим и как они с ним обращаются?

Поисковые системы и дублированный контент

Проблемы с дублированным контентом возникают из-за того простого факта, что сканеры поисковых систем смотрят на страницы не так, как пользователи.  

Для сканера поисковой системы каждый из следующих URL отличается:

• http://site.com
• https://site.com  
• https://сайт.com/index.php
• http://сайт.com/index.php  
• http://www.site.com  

В то время как пользователь обращает внимание на содержимое страницы, поисковые роботы воспринимают каждый URL-адрес как отдельный объект, даже если несколько страниц имеют одинаковое содержимое.

Проблемы с дублированным содержимым, как правило, особенно серьезны для сайтов электронной коммерции, но не ограничиваются ими. Многие современные веб-сайты автоматически добавляют теги и параметры к URL-адресам, например, для сортировки или фильтрации страниц, и часто используют множество путей, ведущих к одному и тому же контенту.

Несколько версий ваших URL-адресов также могут существовать, если вы используете разные структуры URL -адресов — например, ваши URL-адреса бывают как с www, так и без www, с завершающей косой чертой и без нее, с протоколами HTTP и HTTPS и в любых других форматах.

Это может привести к дублированию контента, который поисковые системы не хотят индексировать.

В частности, когда поисковые системы сталкиваются с дублирующимся контентом, они пытаются решить:

• Какая страница должна быть проиндексирована,
• Какая страница должна ранжироваться по релевантным ключевым словам и
• Должны ли они объединять сигналы ранжирования под одним URL-адресом или разделять его между несколькими страницами.

Хотя поисковые системы могут дедуплицировать страницы для целей ранжирования, рискованно позволять им выбирать канонический URL-адрес — они могут выбрать страницу, которая не является наиболее репрезентативной версией вашего контента.

Как Google выбирает канонические страницы?

Важно отметить, что робот Googlebot не всегда будет следовать вашим каноническим тегам, поскольку они служат только в качестве рекомендаций относительно того, как следует обрабатывать данный URL.

Google учитывает множество других факторов на странице при выборе канонической версии.

Эти факторы включают, среди прочего:

• перенаправляет ,
• Внутренние и внешние ссылки,
• карты сайта ,
• Чистая структура URL,
• Использование протокола HTTPS.

Вы можете проверить, учел ли Google ваш канонический тег или выбрал другой, используя инструмент проверки URL .

Google использует канонические страницы в качестве основных источников для оценки содержания и качества. Результат поиска Google обычно указывает на каноническую страницу, за исключением случаев, когда один из дубликатов явно лучше подходит для пользователя. Например, результат поиска, вероятно, будет указывать на мобильную страницу, если пользователь использует мобильное устройство, даже если страница для настольных компьютеров помечена как каноническая.

источник: документация Google

Посмотрите это видео, в котором объясняется, как Google выбирает канонические URL.

Когда следует использовать канонические теги?

Не забывайте, что простое добавление канонических тегов не решит всех проблем с дублирующимся или неполноценным контентом.

Ваша главная цель должна заключаться в устранении основных проблем, которые вызывают эти проблемы. Сосредоточьтесь на анализе того, можете ли вы удалить или улучшить контент на дублирующихся страницах, чтобы сделать его более уникальным и, возможно, более полезным для пользователя.

Тем не менее, правильная разметка ваших страниц каноническими тегами — это шаг вперед в борьбе с дублирующимся контентом.

Давайте проанализируем, как вы можете извлечь выгоду из канонических тегов и когда их использовать.

Преимущества использования канонических тегов

Добавляя канонические теги, вы можете:

Укажите, какая страница должна отображаться в результатах поиска

Поисковые системы стремятся обеспечить наилучшее взаимодействие с пользователем , поэтому они редко показывают более одной версии одного и того же контента в результатах поиска.

Канонические теги дают вам возможность улучшить видимость наиболее репрезентативной версии страницы в поиске, что может увеличить органический трафик на эту страницу и превратиться в преимущества для бизнеса.

Консолидация сигналов ранжирования для дубликатов страниц

Другие сайты могут ссылаться на разные дубликаты ваших страниц, ослабляя сигналы , которые поисковые системы учитывают при ранжировании.

Когда вы используете канонический тег, вы сообщаете поисковым системам, что сигналы ранжирования от повторяющихся URL-адресов должны направляться на каноническую страницу.

Препятствовать сканированию дубликатов страниц

Если вы используете канонические теги, маловероятно, что поисковые системы будут продолжать сканировать канонические страницы, зная, что они являются копиями.

В то же время каноническую версию следует сканировать более регулярно.  

Это возможность для более эффективного сканирования ваших канонических страниц, что может положительно повлиять на статус индексации вашего веб-сайта.

Типы контента для разметки каноническими тегами

Давайте пройдемся по конкретному контенту, для которого следует выбрать каноническую страницу.

Следующие типы контента и аспекты обычно не добавляют ценности вашему веб-сайту и могут привести к увеличению количества дублированного контента.

Синдицированный контент

Распространение контента означает, что часть контента была повторно опубликована на другом домене.

Внедрение канонического тега может помочь приписать право собственности на произведение первоначальному издателю.

Фильтрация и сортировка товаров

Параметры фильтрации и сортировки, типичные для сайтов электронной коммерции, обычно используют строки запроса, которые добавляются к URL-адресам — это может создавать огромное количество дублированного контента. Канонизация страниц фильтрации и сортировки поможет вашей канонической версии получить более высокий рейтинг и предотвратит ненужное сканирование дублирующегося контента поисковыми системами.

Избыточные параметры в URL

Параметры могут быть лишними для страницы , если они не используются для отслеживания, не меняют содержимое и не добавляют в URL никакой значимой информации.

Вместо этого они могут привести к неэффективному сканированию вашего сайта.

Варианты продукта

Продукт может поставляться в различных вариантах, где единственной изменяемой характеристикой является его цвет, размер или любой другой применимый атрибут. Канонизация может помочь вам выбрать основной вариант продукта.

Однако подумайте, остается ли продукт прежним. Например, в технологической нише разные варианты продуктов, например смартфоны, могут на самом деле содержать другие функции и, следовательно, все они должны отображаться в результатах поиска.

Параметры отслеживания и идентификаторы сеансов

Параметры отслеживания могут отслеживать кампанию или путь пользователя, и они не изменяют содержание страницы, поэтому их также следует канонизировать.

Сравнение канонических тегов с тегами noindex и переадресацией 301

Вам может быть интересно, как канонические теги сравниваются с другими решениями, которые могут повлиять на то, как поисковые системы индексируют страницы и индексируют ли они их вообще.

Давайте сравним характеристики и варианты использования в SEO канонических тегов, тегов noindex и 301 редиректа.

Использование канонических тегов вместо тегов noindex

Теги Noindex используются для исключения страниц из индекса, а не для управления тем, какая страница должна быть выбрана в качестве канонической.  

Вы никогда не должны использовать тег noindex, чтобы поисковые системы не могли выбрать каноническую страницу.

Канонизированные страницы обычно объединяют сигналы ранжирования под одним URL-адресом, в отличие от тегов noindex — это вызвано тем, что Google рассматривает долгосрочные теги noindex, follow как noindex, nofollow .

Эмпирическое правило заключается в том, что страница не должна быть одновременно неиндексирована и канонизирована. Например, страницы, канонизированные как неиндексированные URL-адреса, будут удалены из индекса.

Джон Мюллер пояснил во время SEO Office Hours , что нет риска того, что неиндексированная и канонизированная страница перенесет noindex в свое каноническое место назначения, что впоследствии удалит оба адреса из индекса.

Однако использование тегов noindex и canonical посылает Google смешанные сигналы. Это означает, что Google может интерпретировать теги по своему усмотрению, и результат может быть для вас нежелательным.

Использование канонических тегов против 301 редиректа

Поисковые системы и пользователи по-разному воспринимают канонические теги и 301 редиректы.

Если вы используете перенаправление 301, пользователи будут автоматически перенаправлены на целевую страницу и не увидят исходную страницу. Перенаправления 301 также помогают вам сэкономить краулинговый бюджет , поскольку они ограничивают количество URL-адресов, которые необходимо сканировать.

Между тем, с каноническим тегом пользователи по-прежнему смогут посещать оба URL-адреса. Кроме того, повторяющиеся URL-адреса по-прежнему сканируются поисковыми системами, поэтому количество просматриваемых страниц не уменьшается.

Хотя канонические теги, как правило, передают сигналы ранжирования основной версии страницы, перенаправления 301 являются для Google более убедительным признаком того, что сигналы ранжирования должны передаваться на целевой URL. Это происходит потому, что Google не видит прерывистый контент, как это происходит с каноническими тегами.

Давайте уточним, когда редирект 301 будет более подходящим, чем канонический тег.

Для объединения URL-адресов лучше всего использовать переадресацию 301:

• Содержит строчные и прописные буквы,
• С косой чертой и без нее,
• протоколы HTTP или HTTPS,
• Существует как с www, так и без него.

Если вы вносите изменения в свой контент — например, во время миграции сайта — и ваши URL-адреса меняются, вам следует 301 перенаправить старые URL-адреса на новые. Помимо перенаправления, убедитесь, что новый целевой URL имеет самореферентный канонический тег.

Другая ситуация, когда переадресация 301 будет оптимальной, — это когда продукты доступны по многим URL-адресам.  

В этом случае измените структуру URL-адреса, чтобы она не включала название категории, которой были назначены продукты. Затем 301 перенаправляет устаревший URL-адрес. Если какие-либо категории являются избыточными, вы можете удалить их и перенаправить на соответствующие альтернативные страницы.

В целом, используйте перенаправление 301, если только один URL должен быть доступен для пользователей.

Как добавить канонические теги на страницу

Существует два основных метода указания канонических страниц — в заголовках HTML или HTTP. Вы можете реализовать их вручную или использовать один из инструментов, которые помогут вам автоматизировать это.

Например, вы можете выбрать SEO-плагин , если используете CMS. Плагины с функциональностью для указания канонических страниц включают Yoast SEO или All in One SEO.  

Если вы используете Shopify , вы можете установить собственные канонические URL -адреса , если это необходимо — настройка Shopify по умолчанию — добавить самоссылающиеся канонические URL-адреса для продуктов и сообщений в блогах.

Независимо от того, какой метод вы выберете, не забывайте реализовывать канонические теги только в одном месте — не используйте эти методы одновременно. Если Google обнаружит несколько объявлений канонического тега, он, скорее всего, проигнорирует их все.

HTML-тег

Добавление канонического тега в ваш HTML — наиболее распространенный способ его реализации.

Добавьте следующий код в раздел <head> дубликата страницы HTML и вставьте URL-адрес канонической версии:

 <ссылка rel="canonical" href="https://example.com" />

Этот метод работает только для HTML-страниц, поэтому используйте HTTP-заголовок, если хотите канонизировать другие типы файлов.

HTTP-заголовок

Вы можете реализовать HTTP-заголовок «rel=canonical», чтобы указать каноническую версию URL-адреса:

 Ссылка: <http://www.example.com/downloads/white-paper.pdf>; отн = "канонический"

Используйте заголовок HTTP, чтобы указать канонический код для документов, отличных от HTML, таких как файлы PDF.

Чтобы использовать это решение, вам нужен доступ к серверу вашего веб-сайта. Это также требует некоторых технических навыков, так как этот метод более подвержен ошибкам и сложен в реализации, чем HTML.

Рекомендации по использованию канонических тегов

Следование рекомендациям по использованию канонических тегов помогает снизить риск того, что поисковые системы сочтут неправильную версию страницы канонической.

Вот мой список рекомендаций для канонических тегов:

Используйте абсолютные URL

Теоретически Google должен распознавать как относительные, так и абсолютные URL-адреса. Однако абсолютные версии URL-адресов менее подвержены ошибкам и их легче отлаживать.

Вы можете использовать любой из них, но я бы рекомендовал использовать абсолютные URL-адреса, чтобы вы были уверены, что они правильно интерпретируются.

— johnmu.xml (личное) (@JohnMu) 24 октября 2018 г.

Другими словами, используйте полный URL в каноническом теге:

 <link rel="canonical" href="https://example.com/sample-page/" />

И воздержитесь от включения только пути URL:

 <link rel="canonical" href="/sample-page/" />

Используйте самореферентные канонические теги

Хотя это и не обязательно, рекомендуется использовать канонические теги, указывающие на страницы, на которых они расположены.

Очень важно реализовать его, если вы используете параметры для отслеживания кампаний — это должно привести к тому, что все URL-адреса с параметром кампании будут канонизированы статическим URL-адресом по умолчанию и предотвратят их индексацию.

Вот что сказал Джон Мюллер из Google во время SEO Office Hours относительно канонических ссылок на себя:

Наличие на странице самоссылающегося канонического тега не является критическим, но нам проще выбрать именно тот URL-адрес, который вы хотите сделать каноническим.

Мы используем ряд факторов, чтобы выбрать канонический URL, и rel=canonical действительно играет в этом роль.

Так, в частности, такие вещи, как параметры URL-адреса или если URL-адрес помечен каким-либо определенным образом — может быть, у вас есть ссылки, ведущие на эту страницу, которая помечена, например, для аналитики — тогда может случиться так, что мы выберем этот тегированный URL-адрес в качестве канонический […]

источник: Джон Мюллер

Посылайте четкие сигналы поисковым системам

Отправка четких сигналов заключается в указании только одного канонического файла на странице.  

Избегайте указания URL-адреса как канонического и одновременного перенаправления указанного URL-адреса на другое место назначения.

Другой случай касается канонических символов, добавленных с помощью JavaScript.  

Если в HTML не указана каноническая страница, а канонический тег добавлен с помощью JavaScript, Google должен учитывать его во время рендеринга. Но если в HTML установлен канонический код, а JavaScript изменяет его, вы отправляете в Google смешанные сигналы.

Отправка смешанных сигналов может привести к тому, что поисковые системы неправильно интерпретируют ваши канонические символы или выберут неправильную версию в качестве канонической.

Убедитесь, что вы используете правильный URL-адрес при внутренней ссылке

Размещая внутренние ссылки на своем сайте, убедитесь, что вы ссылаетесь на канонический URL , а не на дубликаты.

Как уже упоминалось, Google может не соблюдать каноничность, если более сильные сигналы указывают на другой URL . Одним из таких сигналов может быть увеличение количества ссылок на повторяющийся URL-адрес, который Google может вместо этого рассматривать как основную версию.

Не указывайте канонический тег на первую страницу пагинации.

Распространенной ошибкой является стремление индексировать только первую страницу пагинации. Вы можете использовать его, чтобы запретить пользователям доступ к последующим страницам из результатов поиска, но это неправильный подход. Поисковые системы могут игнорировать канонизацию, так как эти страницы обычно не являются дубликатами. Но если они соблюдают канонические теги, нумерация страниц может быть канонизирована.

Если пагинация содержит ссылки на уникальные товары и между страницами товаров нет других ссылок, то ссылки на страницы товаров в пагинации могут не учитываться. Другими словами, индексируемые страницы продуктов не будут иметь внутренних ссылок с других страниц.

Вместо этого страницы с разбивкой на страницы должны иметь самореферентные канонические теги. Контент на этих страницах не идентичен, и, добавляя самореферентные теги, вы сообщаете поисковым системам, что каждая страница уникальна. Если вы не хотите, чтобы эти страницы индексировались, используйте теги noindex.

Укажите на настольную версию страницы

Если ваш мобильный сайт расположен на поддомене, канонический тег должен указывать на версию страницы для ПК.

Определите каноническую страницу при использовании тегов hreflang

Хотя Google не считает разные версии одного и того же контента, переведенного на другие языки , дубликатами, вам все равно следует использовать канонические теги.

Сообщите поисковым системам, какая каноническая страница написана на том же языке или на лучшем языке-заменителе. Языковые варианты должны быть самоканоническими.

Предотвращение проблем с краулинговым бюджетом

Канонические URL-адреса могут по-прежнему расходовать ваш краулинговый бюджет, даже если канонические теги реализованы правильно.

Хотя скорость сканирования канонизированных URL-адресов должна со временем снижаться, поисковые системы могут по-прежнему сосредоточиться на поиске дубликатов вместо сканирования и индексации новых страниц.

Проверьте журналы своего сервера, чтобы увидеть, как робот Googlebot ведет себя на вашем сайте, и выявить возможные проблемы со сканированием.

Как правило, чтобы смягчить проблемы с краулинговым бюджетом, следует:

• Уменьшите внутренние ссылки на неканонические версии URL,
• Используйте инструмент параметров URL в Google Search Console, чтобы указать роботу Googlebot сканировать статические версии URL-адресов.

Но имейте в виду, что проблемы с краулинговым бюджетом возникают на очень больших сайтах — Google утверждает, что большинству сайтов никогда не придется об этом беспокоиться.

Я рекомендую вам прочитать статью Google о распространенных ошибках при реализации «rel=canonical» , чтобы узнать, чего еще следует избегать.

Как проверить канонические теги

Чтобы ваши канонические теги были подобраны, вам необходимо убедиться, что на странице есть канонический тег, указывающий на нужную страницу.

Также нужно проверить, доступна ли страница для сканирования и индексации — она не должна быть заблокирована файлом robots.txt или помечена тегом noindex.

Ниже приведены несколько полезных способов проверки ваших канонических тегов.

Как использовать Google Search Console для анализа канонических тегов

Google Search Console содержит несколько полезных инструментов для аудита ваших канонических страниц: отчет о покрытии индекса и инструмент проверки URL.

Отчет о покрытии индекса

Отчет об индексировании в Google Search Console — это ценный источник информации о вашем состоянии индексации — какие URL-адреса проиндексированы, а какие нет и почему.

Чтобы проанализировать канонические файлы вашего сайта, перейдите в категорию «Исключенные».  

Здесь вы можете найти несколько актуальных для вас статусов:

Альтернативная страница с правильным каноническим тегом

URL-адреса, отмеченные этим статусом, указывают на страницы, для которых Google уважает канонизацию вашего URL-адреса.

Вы можете ожидать, что количество этих URL-адресов увеличится, если вы недавно канонизировали некоторые страницы. Вы можете использовать этот раздел отчета Google, чтобы проверить, не сканирует ли Google дубликаты больше, чем необходимо.

В противном случае эти URL-адреса не требуют вашего внимания.

Дубликат, Google выбрал другой канонический, чем пользовательский

Статус указывает на то, что Google проигнорировал вашу самоотсылающую каноническую или каноническую ссылку на другую каноническую. Это может произойти, если более сильные сигналы указывают на другие URL-адреса — например, может быть больше внутренних ссылок на другие страницы.

Эта проблема также может указывать на проблемы с контентом. Например, возможно, что уникальная часть контента не загрузилась или вы выбрали неправильную страницу для канонизации, например, из-за отсутствия достаточного паритета контента между дубликатами и каноническими страницами.

Если вы не можете определить, как решить эту проблему, перейдите прямо к нашему руководству о том, как исправить дубликат, Google выбрал другую каноническую проблему, а не проблему пользователя.

Повторяющийся отправленный URL не выбран в качестве канонического

Это означает, что Google обнаружил в ваших картах сайта XML страницы, которые он считает дубликатами. Просмотрите свою карту сайта и убедитесь, что все URL-адреса, найденные в ней, должны быть проиндексированы.

Дублировать без выбранного пользователем канонического

Это повторяющиеся URL-адреса без указания rel=canonical URL-адресов — определите для них наиболее подходящие канонические страницы и добавьте их.

Инструмент проверки URL

Вы можете использовать инструмент проверки URL -адресов для дальнейшего изучения того, как робот Googlebot просматривает URL-адреса, исключенные из индекса.

При просмотре страницы обратите внимание на:

• Дата последнего обхода — последний раз, когда робот Googlebot извлекал страницу. Если канонический тег был добавлен недавно, вполне вероятно, что с тех пор робот Googlebot не сканировал этот URL.
• Объявленный пользователем канонический — здесь должен отображаться выбранный вами URL-адрес — проверьте, правильный ли это URL-адрес.
• Каноническая, выбранная Google. Если Google выбрал другую каноническую страницу, вы можете увидеть, какой URL был выбран.

Вы также можете проверить, правильно ли был добавлен канонический тег. Щелкните Просмотреть просканированную страницу, чтобы изучить отображаемый контент и найти канонический тег в разделе <head>.

На вкладке «Дополнительная информация» вы можете проверить заголовок ответа HTTP, полученный роботом Googlebot.

Убедитесь, что он соответствует желаемой конфигурации, даже если вы используете rel=canonical в HTML-коде страницы.

Выполнение сканирования сайта для аудита канонических тегов

Сканирование веб-сайта может помочь вам обнаружить проблемы с вашими каноническими тегами.

Поисковые роботы веб-сайтов предоставят вам подробную информацию о соотношении канонических и неканонических изображений. Они предупредят вас о любых неверных канонических тегах, таких как удаленные/отсутствующие страницы (HTTP 4xx), ошибки сервера (HTTP 5xx) или перенаправления (HTTP 3xx) в канонических тегах. Как правило, следует исследовать любые коды состояния, кроме HTTP 200.

Следуйте этому руководству, чтобы узнать , как проводить аудит канонических ссылок с помощью SEO Spider от Screaming Frog.

Подведение итогов

Внедрение канонических тегов дает вам возможность сообщать поисковым системам, какой URL-адрес представляет лучшую версию каждого фрагмента контента. Затем вы можете влиять на то, какие страницы будут отображаться в результатах поиска, а какие будут считаться второстепенными.

Canonicals — это просто сигналы, которые поисковые системы не должны уважать. Но во многих случаях вы можете увеличить шансы на то, что ваши канонические теги будут соблюдены. Как?

Следуйте изложенным передовым методам — вот сжатый список моих рекомендаций:

• Определите дублирующийся контент на своих страницах и выберите, какая версия страницы должна быть основной, например, потому что это наиболее репрезентативная или ценная страница,
• Убедитесь, что вы отправляете согласованные сигналы поисковым системам относительно ваших канонических объявлений,
• Используйте самореферентные канонические теги,
• Убедитесь, что ваша реализация файла robots.txt, тегов noindex и карты сайта соответствует вашей канонизации,
• Обеспечьте достаточное соответствие контента между дубликатами и каноническими страницами,
• Ограничьте внутренние ссылки на дубликаты страниц.