Stworzyliśmy narzędzie, które pozwala nam sprawdzić, ile stron w danej witrynie jest zaindeksowanych w Google .

Do tej pory sprawdziliśmy setki stron internetowych, a narzędzie pomogło nam zdiagnozować problemy SEO, z którymi borykali się nasi klienci, m.in. związane z budżetem indeksowania i indeksowaniem.

Często napotykamy anomalie danych podczas badania tych problemów i widzimy wiele witryn z poważnymi błędami w ich mapach witryn.

Jak może to wpłynąć na Twoją witrynę?

Jeśli mapa witryny nie jest prawidłowo zaimplementowana, Googlebot może spędzać dużo czasu na indeksowaniu adresów URL niskiej jakości, co jest marnowaniem budżetu na indeksowanie. W rezultacie wiele wartościowych adresów URL w Twojej witrynie może nie być zaindeksowanych w Google , ponieważ nie ma ona wystarczających zasobów do ich indeksowania.

Jakie błędy popełniają popularne witryny w swoich mapach witryn i jak ich uniknąć, aby upewnić się, że Google nie marnuje budżetu na indeksowanie na nieistotne treści?

Zagłębmy się.

Jaki jest budżet indeksowania?

Najpierw wyjaśnię, czym jest budżet indeksowania i jak dokładnie ma on znaczenie dla indeksowania witryn.

Google jest w stanie indeksować wiele treści, ale jego zasoby nie są nieskończone – musi więc dokonywać wyborów za pomocą posiadanych zasobów.

Dlatego Googlebot określa budżet indeksowania dla wszystkich witryn — liczbę adresów URL, które może i chce zaindeksować.

Budżet indeksowania witryny zależy od dwóch wskaźników :

• Limit przepustowości indeksowania — obliczany tak, aby indeksować wszystkie ważne treści na stronie internetowej bez przekraczania limitów jej serwera — oraz
• Popyt na indeksowanie — określany na podstawie rozmiaru, popularności i częstotliwości aktualizacji witryny.

Jeśli witryna zwalnia lub reaguje błędami serwera, limit spada, a Googlebot indeksuje mniej.

źródło: dokumentacja Google

Ze względu na ograniczone możliwości Googlebota należy zaplanować, które adresy URL indeksuje Googlebot w Twojej witrynie.

Klucz do dostosowania indeksowanych adresów URL wyjaśniono w dokumentacji Google:

Zarządzaj zasobami adresów URL: użyj odpowiednich narzędzi, aby poinformować Google, które strony indeksować, a które nie. Jeśli Google spędza zbyt dużo czasu na indeksowaniu adresów URL, które nie są odpowiednie dla indeksu, Googlebot może uznać, że nie warto zaglądać do reszty witryny.

źródło: dokumentacja Google

Podsumowując – oto, co wiemy do tej pory:

• Jeśli Twoja witryna działa wolno, Google może zaindeksować mniej adresów URL, stąd mniej adresów URL znajdzie się w indeksie Google,
• Jeśli Google jest w stanie wykryć wiele adresów URL niskiej jakości podczas indeksowania Twojej witryny, może uznać, że ogólna jakość Twojej witryny jest niska.

Oto kluczowy wniosek:

Z mnóstwem adresów URL niskiej jakości, które Google może zindeksować, Googlebot może tracić dużo czasu na ich indeksowanie i może nie być w stanie zaindeksować wielu adresów URL wysokiej jakości w Twojej witrynie.

Ma to największe znaczenie w przypadku dużych lub szybko zmieniających się witryn, ponieważ muszą one być często i intensywnie indeksowane, aby przyciągnąć ruch.

Jakie znaczenie dla budżetu indeksowania mają mapy witryn?

Jak już wyjaśniłem, optymalizacja budżetu indeksowania jest niezwykle ważnym krokiem w indeksowaniu witryny.

Jednym ze sposobów zarządzania zasobami adresów URL jest tworzenie i utrzymywanie dobrze zoptymalizowanej mapy witryny.  

Mapa witryny to plik, w którym podajesz informacje o stronach, filmach i innych plikach w Twojej witrynie oraz relacjach między nimi […]. Mapa witryny informuje Google, które strony i pliki, które uważasz za ważne w Twojej witrynie, a także dostarcza cennych informacji o tych plikach. Na przykład data ostatniej aktualizacji strony i wszelkie alternatywne wersje językowe strony.

źródło: dokumentacja Google

Jednak mnóstwo stron internetowych nie tworzy dobrze zoptymalizowanych map witryn. Na szczęście możemy uczyć się na ich błędach.

Jakich błędów należy unikać w mapie witryny?

Przeanalizowałem wiele popularnych witryn i stwierdziłem, że wiele z nich popełnia błędy w mapach witryn, które negatywnie wpływają na budżet indeksowania, co może prowadzić do problemów z pokryciem ich indeksu.

Oto mój podział błędów, których należy unikać podczas tworzenia mapy witryny.

1. Przesyłanie nieprawidłowo sformułowanych adresów URL

Jeden z wykrytych przeze mnie błędów dotyczył struktury adresów URL w mapach witryn.  

Przeanalizujmy to na konkretnym przykładzie.

Whisky.de

Kiedy zobaczyłem statystyki zebrane przez nasze oprogramowanie, byłem oszołomiony: pokazało, że 0% stron whisky.de zgłoszonych w mapach witryn było zaindeksowanych w Google.

Wiedziałem, że to nie może być prawda, więc zbadałem dane dalej.

Większość adresów URL w mapach witryn whisky.de wydawała się poprawna:

• Były kanoniczne,
• Nie zostały zablokowane przez metatag robotów noindex,
• Nie zostały zablokowane przez dyrektywę disallow w robots.txt,
• Odpowiedzieli kodem statusu 200.

Ale potem zauważyłem, że wszystkie adresy URL mają podwójne ukośniki po domenie najwyższego poziomu – spójrz na ten przykład:

• https://www.whisky.de//wissen/herstellung/hintergrundwissen/fasstypen/whisky-in-marsala-weinfaessern.html
• https://www.whisky.de//wissen/herstellung/hintergrundwissen/jim-beam-fassfabrik.html
• https://www.whisky.de//presse/pressespiegel/playboy.html

Podwójny ukośnik wydaje się oczywistym błędem programistycznym podczas generowania map witryn i łatwym do naprawienia.

Jednak strony zawarte w mapach witryn posiadają tagi kanoniczne wskazujące na odpowiednie adresy URL – ich poprawne wersje za pomocą jednego ukośnika.

W rezultacie jest wysoce prawdopodobne, że Google odwiedza dwa razy więcej adresów URL niż zamierzano: adresów z pojedynczymi i podwójnymi ukośnikami.

Google ma mechanizmy wykrywania błędnych wzorców w adresach URL i technicznie rzecz biorąc, możliwe jest, że Google zauważył błąd. Może więc odpowiednio indeksować whisky.de i indeksować poprawnie ustrukturyzowane adresy URL. Ale nie możemy tego sprawdzić bez dostępu do konta Google Search Console lub dzienników serwera witryny.

W praktyce nie powinieneś polegać na algorytmach Google, aby naprawić swoje błędy – praktyki takie jak ta, którą opisałem, mogą nadwyrężyć budżet indeksowania, a nawet sprawić, że Twoje strony nie będą znajdować się w indeksie Google.

Przesyłanie cienkich adresów URL treści

Istnieje plaga witryn, które w swoich mapach witryn zawierają cienkie strony z treścią.

Pokażę ci przykład.

AnnTaylor

Odkryłam ten błąd na AnnTaylor.com, najwyżej ocenianym sklepie z odzieżą damską.

Chciałem sprawdzić, ile ich kategorii produktów zostało zaindeksowanych w Google, więc zbadałem ich mapę witryny poświęconą stronom kategorii.

Wstępna kontrola wykazała, że ​​tylko 46% stron kategorii było zaindeksowanych w Google.

Więc przyjrzałem się temu bardziej szczegółowo i dowiedziałem się, że większość ich stron kategorii to miękkie błędy 404.

W szczególności strony te wyświetlały następujący komunikat:

Nic dziwnego, że Google nie chciał ich indeksować!

Następnym logicznym krokiem było wykluczenie miękkich błędów 404 z mojej próbki. W tym celu sprawdziłem stan indeksowania tej samej mapy witryny, ale użyłem wyzwalacza, który wykluczał strony zawierające frazę „Wyszukiwaliśmy stylowo i bez powodzenia”, jak pokazano na powyższym obrazku.

Okazało się, że po wykluczeniu miękkich adresów URL 404 indeksowanych jest aż 82% stron w ich mapie witryny kategorii.  

Mimo to 18% stron kategorii nie jest indeksowanych w Google – na tym powinni skoncentrować się ich SEO.

Sytuacja AnnTaylor jest poważna z następujących powodów:

• Przede wszystkim Google marnuje budżet na indeksowanie cienkich treści.
• Ponadto nie jest tajemnicą, że Google ocenia jakość na trzech poziomach: strony, sekcji i całej witryny. Google może uznać, że ogólnie strony kategorii są niskiej jakości i wszystkie mogą zostać zdeindeksowane . W przeszłości zdarzało się to stronom takim jak Giphy, Instagram czy Pinterest, jak opisałem w jednym z moich artykułów. Miejmy nadzieję, że nie przydarzy się to AnnTaylor.

Pomijanie wartościowych adresów URL

Jak już wspomniałem, mapy witryn pomagają Google lepiej zrozumieć Twoją witrynę i inteligentniej ją indeksować.

Zauważyłem jednak, że wiele stron internetowych nie zawiera swoich najcenniejszych adresów URL w mapach witryn.

Oto jeden przykład.

Dobre czytanie

Sprawdziłem ogólną próbkę (pobraną ze wszystkich adresów URL z map witryn ) pod kątem GoodReads i okazało się, że tylko 35% z nich zostało zindeksowanych.

Byłem bardzo zaskoczony, bo wiem, że to bardzo wysokiej jakości strona internetowa. Wiem, że nie tylko ja odwiedzam GoodReads, aby przeczytać recenzje i dowiedzieć się, czy dana książka jest warta przeczytania.

Potem zauważyłem, że sprawdzana przez nas próbka nie zawierała adresów URL z książkami. Postanowiłem więc pobrać wszystkie ich mapy witryn.

Wynik: brak adresów URL z książkami w mapach witryn.  

Dlaczego to zły znak?

Istnieje ryzyko, że Google priorytetowo traktuje adresy URL znalezione w mapach witryn i jakoś pomija odwiedzanie stron produktów.

Zastrzeżenie: GoodReads nie jest naszym klientem. Tak więc, technicznie rzecz biorąc, możliwe jest, że mają prywatną mapę witryny przesłaną do Google Search Console.

Nadużywanie parametru <lastmod>

Jednym z parametrów, które możesz uwzględnić w pliku mapy witryny, jest <lastmod>, określający czas ostatniej aktualizacji strony. W ten sposób Google może łatwo wybrać ostatnio zmienione adresy URL.

Jednak niektóre strony internetowe nadużywają tej techniki. A robienie tego może mieć negatywne skutki, ponieważ, jak czytamy w wytycznych Google, „ Google używa wartości <lastmod>, jeśli jest ona konsekwentnie i weryfikowalna (na przykład poprzez porównanie z ostatnią modyfikacją strony) dokładną”.

Spójrzmy na przykład witryny, która nadużywa parametru <lastmod>.

Avon

Spojrzałem na mapę witryny produktu Avon i wszystkie wymienione adresy URL mają ten sam parametr <lastmod> – bieżący dzień:

Można bezpiecznie założyć, że nie wszystkie adresy URL firmy Avon zmieniają się codziennie, więc Google niechętnie indeksuje jego strony.

Łączenie ze środowiskiem pomostowym w mapach witryn

Google dość często indeksuje tymczasowe adresy URL.  

Zwykle zagadką jest, w jaki sposób Google znajduje linki do takich stron. Ale powszechnym wyjaśnieniem jest to, że te adresy URL są połączone bezpośrednio z map witryn.

Acehardware.com

Zauważ, że acehardware.com od tego czasu zaktualizowało mapy witryn i rozwiązało poniższy błąd.

Oto próbka, którą początkowo sprawdziłem.

Jak widać, odkryłem, że linkują do strony testowej ze swojej mapy witryny.

Dlaczego uwzględnienie środowiska pomostowego w mapie witryny jest złe?

1. Google indeksuje niepotrzebne adresy URL.
2. Jeśli tymczasowe adresy URL są indeksowane, wprowadzają w błąd użytkowników szukających określonej informacji i natykają się na nie w wynikach wyszukiwania.

Najlepsze praktyki w mapach witryn

Przeszedłeś przez mój przegląd rzeczy, których należy unikać podczas tworzenia mapy witryny i zarządzania nią.

Więc teraz, jakie są praktyki, których powinieneś przestrzegać?

Oto kilka dobrych praktyk, które polecam:

– Uwzględniaj w mapach witryn tylko kanoniczne adresy URL .

– Maksymalny rozmiar mapy witryny powinien wynosić 50 000 adresów URL. Możesz podzielić je na mniejsze mapy witryn, jeśli masz więcej adresów URL.

– Nie umieszczaj identyfikatorów sesji ze swoich adresów URL w mapach witryn – w ten sposób możesz ograniczyć duplikowanie indeksowania podanych adresów URL.

– Używaj spójnych i pełnych adresów URL – dołączaj bezwzględne , a nie względne adresy URL.

Jak już wspomniałem, upewnij się, że mapy witryn zawierają tylko wartościowe adresy URL. Możesz przeprowadzić pełne indeksowanie witryny, aby sprawdzić, czy w mapie witryny nie brakuje adresów URL znalezionych podczas indeksowania.

To tylko wierzchołek góry lodowej, jeśli chodzi o optymalizację mapy witryny — aby uzyskać dalsze zalecenia, przeczytaj nasz ostateczny przewodnik po mapach witryn XML.  

Zawijanie

Mapy witryn są cenne dla każdej witryny.

Jednak, jak widać na przykładach witryn, które wymieniłem, wiele popularnych witryn nie ma zoptymalizowanych map witryn, co wiąże się z pewnymi kosztami – mocno wpływa to na ich zasięg w indeksie.

Pamiętaj też, że błędy SEO w mapach witryn mogą negatywnie wpłynąć na budżet indeksowania, co jest kluczowe, jeśli masz średnią lub dużą witrynę.

Mam nadzieję, że teraz wiesz, jakich błędów należy unikać, i będziesz na dobrej drodze do stworzenia mapy witryny, która pomoże Google skuteczniej indeksować Twoją witrynę, prowadząc do lepszego pokrycia indeksu.