Wyszukiwarki nie mogą znaleźć i zindeksować każdej strony w sieci – muszą dokonać wyboru w tym zakresie. I chociaż wszystkie wyszukiwarki służą temu samemu celowi, używają różnych kryteriów indeksowania stron.

Biorąc to pod uwagę, ogólnie dobrze jest, jeśli wyszukiwarka może indeksować i indeksować jak najwięcej wartościowych treści – zwiększa to szanse, że pokaże użytkownikom to, czego szukają.

Byłem ciekaw, która wyszukiwarka – Bing czy Google – indeksuje więcej treści w ogóle.

Ten artykuł opisuje różne aspekty moich badań i chociaż potrzebowałbym więcej danych, aby wyciągnąć jednoznaczne wnioski, wciąż udało mi się zebrać wiele unikalnych i cennych spostrzeżeń.

Oto, co odkryłem o tym, jak Bing i Google indeksują strony internetowe.

Analiza danych indeksowania: metodologia i wyniki

Pokrycie indeksu losowej próbki witryn WordPress

Pierwszym krokiem moich badań było zebranie próbki stron w celu sprawdzenia ich statystyk indeksowania.

Uznałem, że dobrym punktem wyjścia będzie skorzystanie z przykładowych stron internetowych korzystających z wtyczki Yoast SEO WordPress. Wybór tej wtyczki był praktyczny: dzieli mapy witryn na sekcje, co pozwoliło mi przeanalizować, które sekcje są najczęściej indeksowane.

Znalazłem listę stron korzystających z wtyczki Yoast SEO na builtwith.com , czyli stronie raportującej o witrynach korzystających z danych technologii lub narzędzi. Wybrałem losową próbkę 200 stron internetowych z listy stron korzystających z Yoast SEO.

Następnie sprawdziłem statystyki indeksowania tych stron za pomocą ZipTie.dev i dane, które się pojawiły, są bardzo interesujące.

Bing zindeksował więcej stron internetowych niż Google.

Spójrz na poniższe wykresy, które pokazują statystyki indeksowania dla danych kategorii map witryn:

Zasięg indeksu jest taki sam dla Bing i Google dla kategorii artykułów i prasy. Co więcej, Google indeksowało więcej treści w przewodnikach i lokalizacjach. Jednak we wszystkich pozostałych kategoriach map witryn indeksowanie Bing przewyższa indeksowanie Google – w tym ważne kategorie, takie jak posty, produkty i obrazy.

Ale czy to oznacza, że ​​Bing jest w stanie indeksować więcej stron niż Google? A może indeksują podobne ilości treści, ale mają inne preferencje, jeśli chodzi o indeksowanie?

Dane z indeksowania dla próbki naszych klientów

Aby rozszerzyć swoje ustalenia, sprawdziłem dane kilku naszych klientów zarówno w Bing Webmaster Tools , jak i w Google Search Console.  

Narzędzia te pokazują strony, o których wie odpowiednia wyszukiwarka dla danej domeny.

W Google Search Console przejrzałem wszystkie znane strony pojawiające się w raporcie Pokrycie indeksu i sprawdziłem liczbę adresów URL dla wszystkich czterech stanów (błędy, prawidłowe, prawidłowe z ostrzeżeniami i wykluczone).

W Bing Webmaster Tools, w sekcji Site Explorer, która zawiera dane indeksowania stron w danej domenie, przefiltrowałem widok, aby wyświetlić wszystkie adresy URL.

To pokazało mi wszystkie odkryte adresy URL dla każdej domeny, którą analizowałem.

Po porównaniu danych, które uzyskałem w obu tych narzędziach, zauważyłem, że Google odkrył więcej stron niż Bing.

Z drugiej strony (zakładając, że wyniki te są spójne w obu testowanych próbkach witryn), wiemy już, że strony wykryte przez Google i Bing są bardziej podatne na indeksowanie przez Bing.

Należy pamiętać, że te wyniki dotyczą tylko niewielkiej próbki witryn i mogą nie odzwierciedlać całej sieci.

Pokrycie indeksu próbki popularnych witryn

Trzecim aspektem moich badań było sprawdzenie stanu indeksowania kilku popularnych witryn korzystających z ZipTie , aby zobaczyć, jak różni się w Bing i Google.

Dowiedziałem się, że Bing znacznie chętniej indeksuje te witryny niż Google. Potwierdziło to moje wcześniejsze ustalenia dla próbki witryn WordPress korzystających z YoastSEO.

Spójrz na dane, które otrzymałem:

Indeksowanie Bing vs. Google – wstępne obserwacje

Czy na podstawie danych możemy stwierdzić, że Bing jest lepszą wyszukiwarką?

Chociaż Bing indeksuje więcej treści, nie możemy wskazać pojedynczego zwycięzcy, patrząc tylko na statystyki indeksowania. Nie wiemy, dlaczego Bing indeksuje więcej niż Google.

Moja hipoteza jest taka, że ​​Google może być „bardziej wybredny” niż Bing. Nie jest tajemnicą, że wybór indeksu jest rzeczą.

Mówimy to od lat – indeksowanie przez Google staje się coraz trudniejsze.

Wiemy również, że wyszukiwarki indeksują strony z różną szybkością.

Oto, co powiedział John Mueller o tym, jak często Googlebot indeksuje strony:

Myślę, że najtrudniejsze jest to, że nie indeksujemy adresów URL z tą samą częstotliwością przez cały czas. Więc niektóre adresy URL będziemy indeksować codziennie. Niektóre adresy URL mogą być co tydzień. Inne adresy URL co kilka miesięcy, a może nawet co pół roku. Dlatego staramy się znaleźć odpowiednią równowagę, aby nie przeciążać Twojego serwera. […] A więc w szczególności, jeśli robisz takie rzeczy, jak zapytania do witryny, istnieje szansa, że ​​zobaczysz te adresy URL, które są indeksowane jak raz na pół roku. Po kilku miesiącach nadal tam będą. […] jeśli uważasz, że te adresy URL naprawdę nie powinny być w ogóle indeksowane, to może możesz to zrobić w pewnym sensie i powiedzieć, no cóż, oto plik mapy witryny z datą ostatniej modyfikacji, aby Google wyłączył się i próbował dwukrotnie- sprawdź je trochę szybciej niż w inny sposób.

źródło: John Mueller

Znalazłem też kilka ciekawych pomysłów w dokumentacji Binga:

Aby zmierzyć, jak inteligentny jest nasz robot, mierzymy wydajność indeksowania bingbota. Wydajność indeksowania określa, jak często indeksujemy i odkrywamy nowe i świeże treści na indeksowaną stronę. Nasza wydajność indeksowania north star polega na indeksowaniu adresu URL tylko wtedy, gdy treść została dodana (adres URL wcześniej nie był indeksowany), zaktualizowana (świeży kontekst na stronie lub przydatne linki wychodzące). Im więcej indeksujemy zduplikowanej, niezmienionej treści, tym niższa jest nasza metryka wydajności indeksowania.

źródło: Seria Bingbot: Maksymalizacja wydajności indeksowania”

Bing może nie chcieć zagłębiać się w indeksowanie witryn internetowych, ponieważ może to zapewnić niewielką wartość i spowodować spadek ich wskaźników KPI.

Wiemy, że Bing pracuje nad usprawnieniem indeksowania. Na przykład Bing próbował zoptymalizować indeksowanie treści statycznych i zidentyfikować wzorce, które zmniejszyłyby częstotliwość indeksowania w wielu witrynach internetowych.

Weź również pod uwagę różnice w indeksowaniu losowych witryn WordPress przez Google i Bing – były one znacznie mniejsze. W przypadku bardzo popularnych serwisów mają one znacznie większe znaczenie.

To skłania mnie do myślenia, że ​​zgodnie z faktem, iż Bing otwarcie przyznaje, że wykorzystuje w swoich algorytmach dane o zachowaniach użytkowników, Bing silnie traktuje indeksowanie popularnych witryn internetowych, podczas gdy dla Google popularność jest mniejszym czynnikiem.

Przedstawiamy IndexNow

Niedawno Bing poszedł o krok dalej, przyjmując protokół IndexNow. Możesz użyć IndexNow, aby poinformować Bing i Yandex o nowych lub zaktualizowanych treściach.

Dzięki naszym testom stwierdziliśmy, że Bing zwykle zaczyna indeksować stronę od 5 sekund do 5 minut od jej przesłania za pomocą IndexNow.

IndexNow to inicjatywa na rzecz wydajniejszego Internetu: informując wyszukiwarki, czy adres URL został zmieniony, właściciele witryn dają wyraźny sygnał, który pomaga wyszukiwarkom w ustaleniu priorytetów indeksowania tych adresów URL, ograniczając w ten sposób potrzebę indeksowania eksploracyjnego w celu sprawdzenia, czy zawartość została zmieniony […].

Będziemy nadal uczyć się i doskonalić na [a] większą skalę i dostosowywać szybkość indeksowania witryn wdrażających IndexNow. Naszym celem jest zapewnienie każdemu użytkownikowi maksymalnych korzyści pod względem indeksacji, zarządzania obciążeniem indeksowania i aktualności treści dla wyszukiwarek.

źródło: Bing Blog, „IndexNow — Natychmiastowe indeksowanie treści internetowych w wyszukiwarkach”

IndexNow pozwala stronom internetowym na szybsze indeksowanie treści i zużywa mniej zasobów do indeksowania. W rezultacie firmy mogą tworzyć lepsze wrażenia dla swoich klientów, zapewniając im dostęp do najistotniejszych informacji.

Stworzyliśmy narzędzie, które pomoże jeszcze szybciej i łatwiej przesyłać adresy URL lub mapy witryn do IndexNow .

Co najważniejsze, IndexNow jest okazją dla mniejszych wyszukiwarek, takich jak Bing i Yandex, do dodania do swoich indeksów z obszernej bazy danych treści. IndexNow rozwiązuje problem, z którym obecnie borykają się wyszukiwarki, w tym Google – konieczność indeksowania i renderowania coraz większej ilości treści.

Czas pokaże, czy Google przyjmie protokół IndexNow, czy stworzy alternatywne rozwiązanie, które umożliwi właścicielom witryn przesyłanie stron do indeksowania.

Optymalizacja sposobu przemierzania i indeksowania stron

Kolejnym wnioskiem z mojej analizy indeksowania jest to, jak ważne jest uproszczenie indeksowania i indeksowania dla wyszukiwarek.

Najpierw musisz utworzyć i utrzymywać mapy witryn zawierające cenne adresy URL. Mapy witryn są przydatne dla usług Bing i Google w wykrywaniu treści, które powinny zindeksować.

Wyszukiwarki będą miały trudności z określeniem, które strony są istotne i powinny zostać zindeksowane, jeśli nie prześlesz zoptymalizowanej mapy witryny. Aby uzyskać więcej informacji na temat konfigurowania mapy witryny i uwzględnianych stron, przeczytaj nasz ostateczny przewodnik po mapach witryn XML.

Dodatkowo musisz mieć plik robots.txt zawierający poprawne dyrektywy dla botów i poprawnie zaimplementowane tagi „noindex” na stronach, które nie powinny być indeksowane.

Zawijanie

Aby zdefiniować wyraźny wzorzec w indeksowaniu Binga i Google, musiałbym sprawdzić znacznie więcej witryn, ale są pewne pomysły, które możemy uzyskać z moich próbek danych:

• Bing indeksuje więcej treści niż Google.
• Google odkrywa więcej treści niż Bing, co sugeruje, że Google jest bardziej wybredny w indeksowaniu. Naczelną zasadą Bing jest mniej indeksowania i skupienie się na treści, która została dodana lub zaktualizowana.
• Bing priorytetowo traktuje indeksowanie popularnych witryn internetowych, podczas gdy popularność nie ma większego znaczenia dla Google.

Widzimy również, że jakość treści oraz optymalizacja przeszukiwania i indeksowania Twojej witryny to kluczowe aspekty SEO i nie można ich lekceważyć ani lekceważyć. Co więcej, czynniki te prawdopodobnie nadal będą miały kluczowe znaczenie w miarę rozwoju sieci i coraz bardziej wyrafinowanych algorytmów wyszukiwarek.