Что такое страницы-сироты и как их исправить
Опубликовано: 2022-06-14Страницы-сироты — это страницы внутри домена без каких-либо внутренних ссылок, указывающих на них.
Наличие страниц-сирот на вашем сайте чревато негативными последствиями:
- Страницы с потенциалом ранжирования, которые не связаны со структурой вашего сайта, вряд ли будут обнаружены и проиндексированы и не принесут ожидаемых преимуществ (например, органического трафика) для вашего сайта.
- Бесхозные страницы низкого качества могут быть просканированы и проиндексированы из-за других сигналов SEO, таких как обратные ссылки (ссылки с других веб-сайтов). Это будет пустой тратой краулингового бюджета вашего сайта, что может повлиять на индексацию других, более ценных страниц вашего сайта.
Страницы-сироты встречаются повсеместно, и решить их непросто — они могут появляться по множеству причин. Вы можете просто забыть добавить внутренние ссылки на некоторые страницы, а в других ситуациях вы можете создать страницы-сироты специально. В зависимости от того, какую роль на вашем сайте играет страница-сирота, к ней потребуется разное отношение.
В этой статье я объясню, как различные типы страниц-сирот влияют на SEO, как вы можете обнаружить страницы-сироты на своем сайте и что с ними делать.
Как страницы-сироты влияют на SEO?
Страницы-сироты не имеют внутренних ссылок, указывающих на них, что делает их проблематичными для сканеров поисковых систем и пользователей. Они не будут найдены при просмотре вашего веб-сайта; если они обнаружены другими способами, может быть трудно понять, как они связаны с остальной частью вашего домена. Особенно это касается поисковых систем.
Как страницы-сироты влияют на поисковые системы?
Отсутствие внутренних ссылок негативно влияет на то, как сканеры поисковых систем обнаруживают контент на вашем веб-сайте.
Поисковые системы находят новые страницы одним из следующих способов:
- Переход по внутренним или внешним ссылкам на URL-адреса на вашем веб-сайте или
- Изучение файлов карты сайта в формате XML .
Страницы-сироты могут быть включены в карту сайта или иметь ссылки с других доменов . Они по-прежнему будут считаться потерянными страницами, но их шансы на сканирование и индексацию возрастут, что не всегда хорошо.
Хотя Google может проиндексировать URL-адрес, найденный в карте сайта без каких-либо входящих ссылок, ему будет сложно разместить такой URL-адрес в иерархии сайта, и он может не считать его достаточно ценным из-за отсутствия ссылок. Индексируются ли страницы-сироты в картах сайта, зависит от многих факторов, таких как размер веб-сайта (для больших веб-сайтов Google обычно оставляет многие страницы непросканированными и неиндексированными, и страницы-сироты, вероятно, имеют очень низкий приоритет).
В результате страницы-сироты, как правило, не индексируются и не ранжируются в Google , что приводит к отсутствию органического трафика на ваш сайт.
Если потерянная страница индексируется из-за других факторов, сложности на этом не заканчиваются. Без внутренних ссылок PageRank не сможет попасть на страницу-сироту . Это означает, что любой авторитет ссылок, полученный другими страницами в домене за счет наличия высококачественных релевантных обратных ссылок, не будет передан на страницы-сироты.
Кроме того, без внутренних ссылок поисковые системы не имеют семантического или структурного контекста для оценки страницы . Поисковые системы могут изо всех сил пытаться определить, для каких запросов релевантна страница, не зная, какое место она занимает в общей структуре вашего сайта.
Если у вас есть страницы-сироты низкого качества и их сканирование не ограничено в файлах robots.txt или их индексация не заблокирована с помощью тега noindex , поисковые системы могут тратить краулинговый бюджет на их сканирование. Это особенно вредно, если у вас есть большой веб-сайт, который может страдать от проблем с краулинговым бюджетом.
В редких случаях низкокачественные страницы-сироты также могут привести к раздуванию индекса , что происходит, когда поисковая система неконтролируемым образом индексирует страницы в домене, индексируя любой контент, который может найти, включая неполный или дублированный контент.
И, что еще хуже, если поисковые системы решат, что страница недостаточно ценна для индексации, но вы сделаете ее индексируемой, это может помешать им индексировать другие страницы вашего сайта . Это потому, что эти некачественные страницы могут негативно повлиять на общее представление о качестве вашего сайта.
Помните, что если на странице есть хотя бы одна внутренняя ссылка, она больше не считается страницей-сиротой. Но если на странице есть только одна ссылка, и это важно для вашего веб-сайта, рассмотрите возможность создания большего количества ссылок, чтобы укрепить ее положение в иерархии сайта. Таким образом, вы также можете предотвратить случайную потерю страницы, если единственная ссылка будет удалена.
Как страницы-сироты влияют на пользователей?
Страницы-сироты также создают проблемы для пользователей.
Если ваши потерянные страницы содержат высококачественный контент , который должен привлекать значительный трафик на ваш веб-сайт и приводить к конверсиям, пользователям будет трудно найти их, если они не включены в структуру вашего сайта. Это также приводит к пустой трате времени и ресурсов, выделяемых на создание контента на таких страницах.
Другое дело, если на ваши страницы-сироты намеренно не ссылались, но они оставались доступными для пользователей. Посетители, попадающие на эти страницы, могут столкнуться с устаревшим или неактуальным контентом, что может негативно сказаться на пользовательском опыте.
Типы потерянных страниц
Общие причины потерянных страниц включают в себя:
- Миграция сайта — например, когда некоторые из старых страниц не включаются в новую основную навигацию и не перенаправляются на новую целевую страницу ,
- Неоптимизированная архитектура сайта , при которой некоторые страницы не связаны из-за отсутствия стратегии архитектуры сайта. На сайте также могут быть механизмы, которые автоматически не включают новые типы страниц в навигацию,
- CMS, создающая дополнительные URL-адреса, о которых вы не знаете,
- Страницы устаревают или становятся неактуальными, когда ссылки на них удаляются, но страницы остаются опубликованными — это может произойти с товарами, которых нет в наличии,
- Преднамеренное отсутствие ссылок на определенные страницы — например, на целевые страницы для рекламных или платных кампаний.
Многие из них происходят из-за отсутствия согласованных универсальных процессов для проведения миграции сайтов, перемещения сайтов из промежуточной среды в рабочую, внесения значительных изменений в сайт и т. д.
Поскольку существует множество различных причин существования потерянных страниц , их устранение заключается не только в добавлении ссылок на эти страницы.
Не все страницы должны иметь ссылки, указывающие на них . Добавление ссылок означает, что вы активно хотите, чтобы поисковые системы и пользователи просматривали эти страницы.
Удаление их из структуры вашего сайта — это один из сигналов, указывающих поисковым системам на то, что они не представляют для вас ценности. Это, в сочетании с другими аспектами, такими как ограничение их сканирования в файле robots.txt или запрет на их индексацию с помощью тега noindex, не позволит им попасть в индекс Google.
Как найти страницы-сироты
Первым шагом перед тем, как что-либо исправить, является поиск потерянных страниц. Обычно отличный способ найти все страницы на вашем веб-сайте — использовать поисковый робот SEO, но в этом случае поисковых роботов, скорее всего, будет недостаточно. В этом проблема с потерянными страницами — поисковые роботы не найдут их, перейдя по ссылкам на вашем сайте.
Источники данных, которые вы можете использовать для поиска потерянных страниц на вашем сайте:
- Ваши карты сайта или другие списки URL-адресов, которые у вас могут быть.
- Базы данных ссылок (например, Ahrefs.com), которые находят ссылки на ваши страницы на других сайтах.
- Службы веб-аналитики, такие как Google Analytics.
- Поисковая аналитика, такая как Google Search Console.
- Лог-файлы вашего сервера.
Некоторые инструменты объединяют эти источники данных. Например, инструмент «Аудит сайта» от Ahrefs показывает раздел в проводнике страниц с потерянными страницами, найденными по обратным ссылкам и картам сайта. Ограничение заключается в том, что Ahrefs не будет показывать страницы-сироты, которых нет в картах сайта или на которые нет обратных ссылок.
Точно так же вы можете найти страницы-сироты, используя несколько источников данных с помощью Site Audit от SEMrush . Это дает вам два варианта:
- Просмотр страниц, найденных в ваших картах сайта, без каких-либо внутренних ссылок.
- Просмотр страниц с последними обращениями в Google Analytics, на которых нет внутренних ссылок.
У Screaming Frog есть аккуратное руководство по обнаружению потерянных страниц с помощью SEO Spider . Их процесс вращается вокруг анализа ваших XML-карт сайта для сканируемых страниц и использования интеграции с Google Analytics и Google Search Console для предоставления данных для сканирования .
Вы сможете просматривать потерянные URL-адреса для каждого из трех источников данных — карты сайта, Google Analytics и Google Search Console. Затем вы можете использовать отчет о потерянных страницах для экспорта списка всех найденных потерянных страниц.
Вы также можете взглянуть на Sitebulb, который аналогичным образом предлагает возможность подключения нескольких источников данных, включая Google Analytics и Google Search Console — ознакомьтесь с руководством Sitebulb по поиску потерянных страниц .
Чтобы получить доступ к более полным данным о вашем сайте, вам необходимо глубже изучить его структуру. Наиболее распространенным решением будет создание перекрестных ссылок на наборы данных самостоятельно.
Получить список доступных для сканирования страниц
Вы можете получить список страниц из своего XML-файла карты сайта, поскольку он должен содержать только ваши URL-адреса, доступные для сканирования и индексации. Лучший подход — использовать краулер.
Какой бы поисковый робот вы ни использовали , он должен быть настроен только на сканирование индексируемых страниц . Он должен пропустить сканирование страниц, которые:
- Заблокировано от индексации с помощью тега noindex,
- Не сканируется из-за директив robots.txt.
Не забывайте сканировать только канонические URL-адреса, включая правильный протокол (HTTP или HTTPS) и поддомен (с www или без www).
Узнайте, к каким страницам обращаются
Когда у вас есть список сканируемых страниц, вам нужно найти страницы, которые посещают пользователи или поисковые роботы.
Получить данные из Google Analytics
Google Analytics может помочь вам найти страницы, к которым обращаются пользователи или поисковые роботы, перейдя по внешним ссылкам (включая социальные сети) или непосредственно введя адрес.
В Google Analytics перейдите в раздел «Поведение» > «Контент сайта» > «Все страницы».
Затем вы увидите все URL-адреса, которые были посещены ранее. Отрегулируйте даты, чтобы вернуться как можно дальше. Затем экспортируйте полученный список.
Получить данные из Google Search Console
Вы также можете найти полезные данные в Google Search Console, и хорошо сочетать их с данными, найденными в Google Analytics. Консоль поиска Google может содержать данные об URL-адресах, к которым поисковый робот Google обращался другими способами, кроме ваших внутренних ссылок.
В GSC выберите Производительность > Страницы.
Убедитесь, что показы включены в представленные данные. Измените диапазон дат, чтобы вернуться как можно раньше, и вы увидите все URL-адреса, которые получили показы за выбранный период времени.
Использовать лог-файлы сервера
Кроме того, вместо Google Analytics и Google Search Console вы можете получить наиболее полные данные из файлов журнала вашего сервера . Файлы журналов содержат информацию о том, кто посещал ваш сайт, в том числе о поисковых роботах и пользователях, а также о том, какие страницы они посещали. Чтобы использовать его, вам потребуется доступ к серверу — проконсультируйтесь с вашими разработчиками, чтобы узнать, возможно ли это.
Перекрестные ссылки на данные
Вам нужно искать страницы, найденные в наборе данных Google Analytics и Google Search Console, или файлы журналов, которые отсутствуют в экспортированном списке известных страниц, так как это будут ваши страницы-сироты.
Вы можете сравнить наборы данных в Google Sheets, Excel или любом другом инструменте.
Как только вы определите все потерянные страницы, экспортируйте их в отдельный файл или электронную таблицу для следующей части оптимизации.
Как анализировать страницы-сироты
Когда у вас есть список потерянных страниц на вашем веб-сайте, вам нужно просмотреть обнаруженные страницы и задать себе несколько вопросов, которые помогут вам определить, что с ними делать :
- Является ли эта страница ценной для вашего сайта? Есть ли у него важная цель, связанная с привлечением трафика или конверсий?
- Рейтинг этой страницы по каким-либо ключевым словам, несмотря на то, что она является страницей-сиротой?
- Где должна находиться страница в таксономии вашего веб-сайта?
- Является ли эта страница дубликатом или почти дубликатом? Можете ли вы переместить содержимое на другую связанную страницу, которая не была потеряна?
- Эта страница оптимизирована? Должны ли вы улучшить его каким-либо образом?
- На странице много качественных обратных ссылок?
Кроме того, хорошо бы подумать, почему страницы вообще стали сиротами . Это поможет вам быть в курсе таких проблем в будущем и, возможно, избежать их.
Оптимизировать страницы-сироты
Как только вы поймете, для какой цели служит страница-сирота и как она помогает в продвижении вашего веб-сайта и маркетинговых целей, вы можете определить, какие шаги следует предпринять со страницей, если таковые имеются.
Ссылка на страницу с других внутренних страниц
Если вы хотите, чтобы бесхозную страницу можно было найти и посетить, потому что это необходимо для посетителей сайта, вы должны добавить на нее внутренние ссылки с других страниц вашего веб-сайта . Таким образом, вы создаете возможность для поиска страницы поисковыми роботами и пользователями.
Вам нужно подумать о наиболее подходящем месте для ссылки на него — вы можете рассмотреть следующее:
- Стоит ли добавлять на него ссылки из других статей по тематике?
- Вам нужно изменить архитектуру сайта, чтобы освободить место для этой страницы?
- Должны ли вы переписать какой-либо свой контент, чтобы ссылки лучше подходили?
- Должна ли быть ссылка на него в основной навигации или футере?
- Какой анкорный текст следует выбрать, чтобы дать контекст поисковым системам и пользователям, которые его посещают?
Если вы не знаете, как к ним подойти, мы предоставим вам нашу статью о внутренних ссылках .
Перенаправить страницу
Другой метод — настроить перенаправление URL-адреса на новое место — в идеале, на релевантную эквивалентную страницу, которая по-прежнему будет полезна посетителям и дополнит их путешествие пользователя без перерывов.
Если вы постоянно перенаправляете страницу, используйте редирект 301, чтобы сохранить как можно больше PageRank и правильно указать поисковым системам переход.
Удалить страницу
Если вы обнаружили потерянную страницу, которая не представляет ценности и не нужна для вашего сайта, и перенаправить ее невозможно, вы можете удалить ее .
Наиболее типичный подход — изменить код состояния на 404.
Оставить страницу как есть
Сохраняйте страницу несвязанной, если она служит бизнес-потребностям, не требующим внутренней ссылки на страницу.
Это может быть в том случае, если, например, у вас есть целевая страница для кампании, которую вы хотите показывать пользователям только в определенное время.
Регулярно ищите новые страницы-сироты
В зависимости от размера вашего сайта, вы должны настроить процесс мониторинга, чтобы выявлять любые будущие страницы-сироты, прежде чем они получат возможность повлиять на вашу поисковую оптимизацию.
Например, можно настроить периодическое сканирование для поиска потерянных страниц в будущем .
Лучший способ предотвратить появление бесхозных страниц в будущем — определить причины их появления и решить основную проблему . Например, если вы определили механизм на своем сайте, который генерирует ненужные URL-адреса без ссылок, исправьте его сейчас, чтобы предотвратить появление новых бесхозных страниц с течением времени.
Всякий раз, когда вы публикуете новую страницу, убедитесь, что ссылки указывают на нее, если только вы сознательно не хотите, чтобы на эту страницу ссылались. Если возможно, внедрите решения, которые автоматически генерируют внутренние ссылки, такие как страницы категорий и связанные элементы.
Подведение итогов
Оптимизация потерянных страниц на вашем веб-сайте может помочь вам:
- Добавьте контекст к ним и другим страницам в структуре вашего сайта,
- Сделайте страницы доступными для сканирования и индексации, что повысит их шансы на ранжирование по соответствующим ключевым словам,
- Перенос PageRank между другими страницами вашего веб-сайта.
Имейте в виду, что небольшое количество потерянных страниц является нормой для любого сайта и не должно рассматриваться как большая проблема.
Проблема становится более серьезной по мере того, как вы получаете больше потерянных страниц, из-за которых вы можете упустить потенциальное ранжирование, трафик и конверсии, препятствуя вашему доходу и успеху в бизнесе.
Отдайте предпочтение регулярному процессу обнаружения любых нежелательных потерянных страниц и немедленного устранения их.