Kompletny przewodnik po tagach Noindex dla SEO
Opublikowany: 2022-02-14Zapobieganie pojawianiu się niektórych stron w wynikach wyszukiwania jest integralną częścią strategii indeksowania.
Jedną z kluczowych metod kontrolowania indeksowania witryny jest dyrektywa noindex w metatagach robots lub x-robots-tags.
Tag noindex może być używany do informowania botów, że strona nie powinna być indeksowana, gdy nadal chcesz, aby indeksowały daną stronę i podążały za linkami na niej.
Nieprawidłowe implementacje dyrektywy noindex mogą prowadzić do skutecznego usunięcia Twoich treści z indeksu Google.
Upewnij się, że tak się nie stanie – postępuj zgodnie z moim przewodnikiem , aby dowiedzieć się, kiedy używać tagu noindex, jak go zaimplementować i poznać najlepsze praktyki.
Co to jest znacznik noindex?
Tag noindex to tag HTML używany do kontrolowania sposobu, w jaki boty traktują daną stronę lub plik w Twojej witrynie i uniemożliwiają im indeksowanie tej strony lub pliku.
Możesz powiedzieć wyszukiwarkom, aby nie indeksowały strony , dodając dyrektywę noindex w metatagu robots – po prostu dodaj następujący kod do sekcji <head> kodu HTML:
<nazwa meta=”roboty” content=”noindex”>Alternatywnie tag noindex można dodać jako tag x-robots-tag w nagłówku HTTP :
x-robots-tag: noindexGdy robot wyszukiwarki, taki jak Googlebot, indeksuje stronę z tagiem noindex, nie indeksuje jej. Jeśli strona była wcześniej zindeksowana, a tag został dodany później, Google usunie ją z wyników wyszukiwania, nawet jeśli linki do niej znajdują się w innych witrynach.
Ogólnie rzecz biorąc, roboty indeksujące wyszukiwarek nie są zobowiązane do przestrzegania metadyrektyw , ponieważ służą one jako sugestie, a nie zasady, których muszą przestrzegać. Niektóre roboty wyszukiwarek mogą inaczej interpretować metawartości robotów.
Jednak większość robotów wyszukiwarek – takich jak Googlebot – przestrzega dyrektywy noindex.
Noindex vs nofollow
Istnieją inne dyrektywy dotyczące meta robotów obsługiwane przez Google – najpopularniejsze z nich to nofollow i follow. Jednak tag obserwowania jest ustawieniem domyślnym, jeśli nie dodano żadnych metatagów robotów, więc Google uważa go za niepotrzebny .
Tag nofollow uniemożliwia wyszukiwarkom indeksowanie linków na stronie. W rezultacie sygnały rankingowe tej strony nie będą przekazywane do stron, do których prowadzi.
Można używać samej dyrektywy noindex, ale można ją również łączyć z innymi dyrektywami. Na przykład możesz dodać zarówno tag noindex, jak i nofollow, jeśli nie chcesz, aby boty wyszukiwarek indeksowały stronę i podążały za znajdującymi się na niej linkami.
Jeśli zaimplementowałeś tag noindex, ale Twoja strona nadal pojawia się w wynikach wyszukiwania, prawdopodobnie Google po prostu nie zaindeksował strony od momentu dodania tagu. Aby poprosić Google o ponowne zindeksowanie strony, możesz użyć narzędzia do sprawdzania adresów URL.
Kiedy należy używać tagu noindex?
Powinieneś użyć tagu noindex, aby zapobiec indeksowaniu stron przez Google.
Uniemożliwienie indeksowania mniej ważnych stron ma kluczowe znaczenie, ponieważ Google nie ma wystarczających zasobów do przemierzania i indeksowania każdej strony, którą znajdzie w sieci. Jednocześnie musisz zidentyfikować swoje wartościowe strony, które powinny zostać zindeksowane i nadać priorytet ich optymalizacji.
Zobaczmy, na jakich typach stron należy zaimplementować tag noindex, aby stały się nieindeksowalne.
Umieść znacznik noindex na:
- Strony produktów, które są niedostępne i nie będą ponownie dostępne.
- Strony ze zduplikowaną treścią, często dominujące w serwisach eCommerce. Zalecamy również używanie tagów kanonicznych w celu wskazywania wyszukiwarkom podstawowych wersji stron i zapobiegania problemom z powielaniem treści.
- Strony, które nie powinny być dostępne w wynikach wyszukiwania, np. środowiska pomostowe lub strony chronione hasłem.
- Strony wartościowe dla wyszukiwarek, ale nie dla użytkowników – takie jak strony zawierające linki, które pomagają botom odkrywać inne strony.
Uniemożliwienie indeksowania stron powinno odbywać się w ramach dobrze ustalonej strategii indeksowania.
Nigdy nie należy umieszczać noindex na wartościowych stronach, takich jak:
- Najpopularniejsze strony produktów,
- artykuły na blogu (o ile nie są nieaktualne),
- O mnie i strony Kontakt,
- Strony opisujące oferowane przez Ciebie usługi.
Ogólnie rzecz biorąc, nigdy nie umieszczaj noindex na stronach, które spodziewasz się wygenerować znaczny ruch organiczny.
Jak zaimplementować tag noindex
Tag noindex można umieścić w kodzie HTML witryny lub nagłówkach odpowiedzi HTTP.
Niektóre wtyczki CMS, takie jak Yoast , umożliwiają automatyczne indeksowanie publikowanych stron.
Przejdźmy krok po kroku przez dwie podstawowe metody implementacji i przeanalizujmy ich wady i zalety.
Wstaw tag noindex do kodu HTML strony
Tag noindex można zaimplementować jako metatag robots w <head> kodu HTML strony.
Metatagi robotów to kody używane do kontrolowania przeszukiwania i indeksowania witryny. Użytkownicy ich nie widzą, ale boty znajdują je podczas indeksowania strony.
Oto jak zaimplementować kod:
<!DOCTYPE html> <html> <głowa> <meta name="roboty" content="noindex" > </head> <ciało> </body> </html>
Wyjaśnijmy, jak skonstruowany jest metatag robots.
Wewnątrz metatagu znajdują się pary atrybutów i wartości:
<meta atrybut=”wartość”>Metatag Robots ma dwa atrybuty:
- nazwa – określa nazwę botów wyszukiwarki,
- content – zawiera dyrektywy dla botów.
Oba atrybuty wymagają różnych wartości w zależności od tego, czego chcesz od botów. Ponadto w atrybutach name i content nie jest rozróżniana wielkość liter.
Atrybut name zazwyczaj przyjmuje wartość „robots”, co oznacza, że dyrektywa jest skierowana do wszystkich botów.
Możliwe jest również użycie nazwy konkretnego bota, na przykład „googlebot”, chociaż będziesz się z nią spotykać znacznie rzadziej. Jeśli chcesz zaadresować różne boty, musisz utworzyć osobne metatagi dla każdego z nich.
Pamiętaj, że wyszukiwarki mają różne roboty do różnych celów – sprawdź listę robotów Google.
Tymczasem atrybut content zawiera dyrektywę, której mają przestrzegać boty. W naszym przypadku jest to „noindex”. Możesz umieścić tam więcej niż jedną wartość i oddzielić atrybuty przecinkami.
Plusy i minusy metatagów robotów
Metoda HTML jest łatwiejsza do zaimplementowania i modyfikacji niż metoda nagłówka HTTP. Nie wymaga również dostępu do serwera.
Jednak zaimplementowanie tagu noindex w kodzie HTML może być czasochłonne – będziesz musiał dodać go ręcznie do każdej strony, którą chcesz zindeksować.
Dodaj tag noindex do nagłówków HTTP
Innym rozwiązaniem jest określenie dyrektywy noindex w tagu x-robots-tag.
Jest to element odpowiedzi nagłówka HTTP . Nagłówki HTTP służą do komunikacji między serwerem a klientem (przeglądarka lub bot wyszukiwarki).
Możesz go skonfigurować na swoim serwerze WWW HTTP. Kod będzie wyglądał nieco inaczej w zależności od używanego serwera — takiego jak Apache, Nginx lub inne.
Oto przykład tego, jak może wyglądać odpowiedź HTTP z tagiem x-robots-tag:
HTTP/1.1 200 OK (…) x-robots-tag: noindex (…)
Serwer Apache
Jeśli masz serwer oparty na Apache i chcesz zindeksować wszystkie pliki, które kończą się na „.pdf”, powinieneś dodać dyrektywę do pliku .htaccess .
Oto przykładowy kod:
<Pliki ~ "\.pdf$"> Zestaw nagłówków x-robots-tag "noindex" </Pliki>
Serwer Nginx
Jeśli masz serwer oparty na Nginx , zaimplementuj dyrektywę w pliku .conf :
lokalizacja ~* \.pdf$ { add_header x-robots-tag "noindex"; }
Plusy i minusy korzystania z nagłówków HTTP
Jedną z istotnych zalet używania noindex w nagłówkach HTTP jest to, że można go używać w dokumentach internetowych, które nie są stronami HTML , takich jak pliki PDF, filmy lub obrazy. Co więcej, ta metoda pozwala kierować reklamy na określoną część strony.
Dodatkowo x-robots-tag obsługuje użycie wyrażeń regularnych ( RegEx ). Innymi słowy, możesz kierować reklamy na strony, które powinny być nieindeksowane, określając ich wspólne cechy. Na przykład możesz kierować reklamy na strony z adresami URL, które zawierają określone parametry lub symbole.
Z drugiej strony, aby zaimplementować tag x-robots, potrzebujesz dostępu do swojego serwera.
Dodanie tagu wymaga również umiejętności technicznych i jest bardziej skomplikowane niż dodawanie metatagów robots do kodu HTML witryny.
Jak sprawdzić implementację tagu noindex?
Jeśli chcesz sprawdzić, czy zaimplementowano metadyrektywy noindex lub innych robotów, możesz to zrobić na podstawie tego, jak zostały dodane do strony.
Jeśli więc tag noindex został dodany do kodu HTML strony, możesz sprawdzić jej kod źródłowy, natomiast w przypadku nagłówków HTTP możesz użyć opcji Sprawdź w Chrome . Te narzędzia pokażą Ci, które dyrektywy zostały rozpoznane na danej stronie.
Inne opcje obejmują wprowadzenie adresu URL do narzędzia do sprawdzania adresów URL w Google Search Console lub użycie rozszerzenia Link Redirect Trace .
Więcej informacji na temat używania tagu noindex
Oto kilka dodatkowych wskazówek dotyczących używania tagu noindex i szczegóły dotyczące jego cech:
- Jeśli w kodzie nie umieścisz noindex, domyślną opcją jest to, że boty mogą indeksować Twoją stronę .
- Uważaj na wszelkie błędy w kodzie, takie jak umieszczanie przecinków we właściwych miejscach – boty nie zrozumieją twoich poleceń, jeśli składnia jest nieprawidłowa.
- Dodaj tagi w kodzie HTML lub nagłówkach odpowiedzi HTTP, ale nie w obu. Może to mieć przeważnie negatywny wpływ, jeśli dyrektywy w odpowiednich miejscach są ze sobą sprzeczne. W takim przypadku Googlebot wybierze dyrektywę ograniczającą indeksowanie.
- Możesz użyć dyrektywy noimageindex, która będzie działać podobnie do noindex, ale zapobiegnie indeksowaniu obrazów na danej stronie.
- Po pewnym czasie boty zaczynają wyświetlać noindex jako również nofollow. Wiele osób wyłącza indeksowanie stron za pomocą noindex, ale łączy je z następującą dyrektywą, aby upewnić się, że roboty nadal indeksują linki na stronie. Ale Google wyjaśnił , że dyrektywa noindex, follow będzie ostatecznie traktowana jako noindex, nofollow, ponieważ w pewnym momencie przestają indeksować linki na stronach bez indeksu. W rezultacie strony docelowe linków mogą nie być indeksowane i mogą otrzymywać osłabione sygnały rankingowe, co może negatywnie wpłynąć na ich ranking.
- Nie używaj noindex w plikach robots.txt. Chociaż ta i kilka innych zasad nie były oficjalnie obsługiwane, boty wyszukiwarek stosowały się do dyrektyw noindex w plikach robots.txt. Jednak we wrześniu 2019 r. Google ogłosił, że we wrześniu 2019 r. wycofał kod obsługujący nieobsługiwane i niepublikowane reguły w plikach robots.txt – takie jak noindex.
Porównanie tagów noindex, plików robots.txt i tagów kanonicznych
Tagi noindex, pliki robots.txt i tagi kanoniczne są ze sobą powiązane – można ich używać do kontrolowania przeszukiwania i/lub indeksowania stron .
Mają jednak pewne cechy wyróżniające, które sprawiają, że nadają się do różnych sytuacji.
Ustaliliśmy, że tagi noindex kontrolują, czy określone strony w witrynie powinny być indeksowane i działają na poziomie strony.
Zobaczmy, jak to wygląda w porównaniu z plikami robots.txt i znacznikami kanonicznymi.
Pliki robots.txt
Pliki robots.txt mogą służyć do kontrolowania sposobu, w jaki boty wyszukiwarek indeksują części witryny na poziomie katalogu.
W szczególności pliki robots.txt zawierają dyrektywy dla botów wyszukiwarek, skupiające się na „zabronieniu” lub „zezwoleniu” na ich zachowanie. Jeśli boty zastosują się do dyrektywy, nie będą indeksować niedozwolonych stron, a strony nie będą indeksowane.
Dyrektywy robots.txt są powszechnie używane do oszczędzania budżetu indeksowania witryny.
Zachowaj ostrożność podczas implementowania tagów noindex i konfigurowania reguł w plikach robots.txt. Aby dyrektywa noindex była skuteczna, dana strona musi być dostępna do indeksowania, co oznacza, że nie może zostać zablokowana przez plik robots.txt.
Jeśli robot nie może uzyskać dostępu do strony, nie zobaczy tagu noindex i nie będzie go przestrzegać. Strona może być następnie zindeksowana i pojawiać się w wynikach wyszukiwania – na przykład, jeśli linki do niej znajdują się na innych stronach.
Aby strona nie zindeksowała, zezwól na jej indeksowanie w pliku robots.txt i użyj metatagu noindex, aby zablokować jej indeksowanie – Googlebot będzie wtedy postępować zgodnie z dyrektywą noindex.
Tagi kanoniczne
Tagi kanoniczne to elementy HTML, które informują wyszukiwarki, która strona spośród kilku podobnych jest wersją pierwotną i powinna zostać zindeksowana. Są one umieszczane na stronach drugorzędnych i określają kanoniczny adres URL – w rezultacie te strony drugorzędne nie powinny być uwzględniane w indeksie.
Tagi kanoniczne mogą ograniczać indeksowanie stron, które nie są kanoniczne, ale Google nie zawsze będzie respektować te tagi . Na przykład, jeśli Google znajdzie więcej linków do innej strony, może potraktować ją jako ważniejszą niż określony kanoniczny adres URL i uznać ją za wersję podstawową.
Ponadto znaczniki kanoniczne mogą być wykrywane przez boty tylko podczas indeksowania. W przeciwieństwie do plików robots.txt nie można ich używać do blokowania indeksowania strony.
Istotna różnica między tagami kanonicznymi a tagami noindex polega na tym, że strony kanoniczne konsolidują sygnały rankingowe pod jednym adresem URL. Tymczasem strony niezaindeksowane nie będą przekazywać sygnałów rankingowych , co ma kluczowe znaczenie w przypadku linków wewnętrznych – nie przekazują sygnałów rankingowych do adresów URL, do których prowadzą linki.
Zawijanie
Uniemożliwienie indeksowania stron niskiej jakości jest jedną ze sprawdzonych metod SEO w zakresie optymalizacji strategii indeksowania, a użycie metatagu noindex jest jednym z najbardziej optymalnych sposobów na utrzymanie strony poza indeksem Google .
Używając tagu, możesz zablokować indeksowanie nieistotnych stron, a następnie pomóc robotom wyszukiwarek skoncentrować się na Twojej najcenniejszej treści.
Skuteczne przeszukiwanie i indeksowanie Twojej witryny jest kluczem do maksymalnego wykorzystania ruchu organicznego, jaki mogą przyciągać do Twojej witryny wartościowe strony. Aby dowiedzieć się więcej o procesie indeksowania, koniecznie przeczytaj nasz przewodnik dotyczący indeksowania SEO !