Les moteurs de recherche ne peuvent pas découvrir et indexer chaque page sur le Web - ils doivent faire des choix à cet égard. Et, bien que tous les moteurs de recherche servent le même objectif, ils utilisent des critères différents pour les pages à indexer.

Cela étant dit, il est généralement bon qu'un moteur de recherche puisse explorer et indexer autant de contenu précieux que possible - cela augmente les chances qu'il montre aux utilisateurs ce qu'ils recherchent.

J'étais curieux de savoir quel moteur de recherche - Bing ou Google - indexe le plus de contenu en général.

Cet article décrit les différents aspects de ma recherche, et bien que j'aurais besoin de plus de données pour tirer des conclusions définitives, j'ai quand même réussi à rassembler de nombreuses idées uniques et précieuses.

Voici ce que j'ai découvert sur la façon dont Bing et Google indexent les pages Web.

Analyser les données d'indexation : méthodologie et résultats

Couverture d'index d'un échantillon aléatoire de sites WordPress

La première étape de mes recherches a été de collecter un échantillon de pages pour vérifier leurs statistiques d'indexation.

J'ai décidé qu'un bon point de départ serait d'utiliser un échantillon de sites Web utilisant le plugin Yoast SEO WordPress. Il y avait une raison pratique derrière le choix de ce plugin : il divise les sitemaps par sections, ce qui me permettrait d'analyser les sections les plus indexées.

J'ai trouvé une liste de sites Web qui utilisent le plugin Yoast SEO sur builtwith.com , un site qui rend compte des sites Web utilisant des technologies ou des outils donnés. J'ai choisi un échantillon aléatoire de 200 sites Web parmi une liste de sites utilisant Yoast SEO.

Ensuite, j'ai vérifié les statistiques d'indexation de ces sites Web à l'aide de ZipTie.dev , et les données qui en sont ressorties sont très intéressantes.

Bing a indexé plus de pages Web que Google.

Jetez un œil aux graphiques ci-dessous qui montrent les statistiques d'indexation pour des catégories de sitemap données :

La couverture de l'index est la même pour Bing et Google pour les catégories histoire et presse. De plus, Google a indexé plus de contenu dans les guides et les lieux. Cependant, dans toutes les catégories de plan de site restantes, l'indexation de Bing dépasse celle de Google, y compris les catégories importantes, telles que les publications, les produits et les images.

Mais cela signifie-t-il que Bing est également capable de crawler plus de pages que Google ? Ou explorent-ils des quantités de contenu similaires mais ont-ils des préférences différentes en matière d'indexation ?

Explorer les données d'un échantillon de nos clients

Pour étendre mes découvertes, j'ai vérifié les données de quelques-uns de nos clients dans Bing Webmaster Tools et Google Search Console.  

Ces outils affichent les pages que le moteur de recherche respectif connaît pour un domaine donné.

Dans Google Search Console, j'ai regardé toutes les pages connues apparaissant dans le rapport de couverture de l'index et vérifié le nombre d'URL pour les quatre statuts (erreurs, valide, valide avec avertissements et exclu).

Dans Bing Webmaster Tools, dans la section Site Explorer, qui contient les données d'indexation des pages d'un domaine donné, j'ai filtré la vue pour afficher toutes les URL.

Cela m'a montré toutes les URL découvertes pour chaque domaine que j'ai analysé.

Après avoir comparé les données que j'ai obtenues dans ces deux outils, j'ai remarqué que Google découvrait plus de pages que Bing.

D'autre part (en supposant que ces résultats soient cohérents dans les deux échantillons de sites Web testés), nous savons déjà que les pages découvertes par Google et Bing sont plus susceptibles d'être indexées par Bing.

Gardez à l'esprit que ces résultats ne concernent qu'un petit échantillon de sites et peuvent ne pas représenter l'ensemble du Web.

Couverture d'index d'un échantillon de sites populaires

Le troisième aspect de ma recherche était de vérifier le statut d'indexation de quelques sites Web populaires utilisant ZipTie pour voir comment il varie entre Bing et Google.

J'ai appris que Bing est beaucoup plus désireux d'indexer ces sites que Google. Cela a confirmé mes découvertes précédentes pour l'échantillon de sites Web WordPress utilisant YoastSEO.

Jetez un oeil aux données que j'ai obtenues:

Indexation Bing vs Google – observations initiales

Pouvons-nous dire que Bing est un meilleur moteur de recherche basé sur les données ?

Bien que Bing indexe plus de contenu, nous ne pouvons pas désigner un seul gagnant simplement en regardant les statistiques d'indexation. Nous ne savons pas pourquoi Bing indexe plus que Google.

Mon hypothèse est que Google pourrait être "plus sélectif" que Bing. Ce n'est pas un mystère que la sélection d'index est une chose.

Nous le disons depuis des années : se faire indexer par Google devient de plus en plus difficile.

Nous savons également que les moteurs de recherche parcourent les pages à des rythmes différents.

Voici ce que John Mueller a dit à propos de la fréquence à laquelle Googlebot explore les pages :

Je pense que le plus difficile ici est que nous n'explorons pas les URL avec la même fréquence tout le temps. Donc, certaines URL que nous explorerons quotidiennement. Certaines URL peuvent être hebdomadaires. D'autres URL tous les deux mois, peut-être même tous les six mois environ. C'est donc quelque chose pour lequel nous essayons de trouver le bon équilibre, afin de ne pas surcharger votre serveur. […] Donc, en particulier, si vous faites des choses comme des requêtes sur le site, il y a une chance que vous voyiez ces URL qui sont explorées comme une fois tous les six mois. Ils seront toujours là après quelques mois. […] si vous pensez que ces URL ne devraient vraiment pas être indexées du tout, alors peut-être que vous pouvez en quelque sorte sauvegarder cela et dire, eh bien, voici un fichier sitemap avec la dernière date de modification afin que Google s'éteigne et essaie de doubler- vérifiez-les un peu plus rapidement qu'autrement.

source : John Muller

J'ai aussi trouvé quelques idées intéressantes dans la documentation de Bing :

Pour mesurer l'intelligence de notre crawler, nous mesurons l'efficacité du bingbot crawl. L'efficacité du crawl est la fréquence à laquelle nous crawlons et découvrons du contenu nouveau et frais par page crawlée. Notre étoile nord en matière d'efficacité de crawl consiste à explorer une URL uniquement lorsque le contenu a été ajouté (URL non explorée auparavant), mis à jour (nouveau contexte sur la page ou liens sortants utiles). Plus nous crawlons du contenu dupliqué et inchangé, plus notre métrique d'efficacité de crawl est faible.

source : Série Bingbot : Maximiser l'efficacité de l'exploration »

Bing peut ne pas vouloir aller plus loin lors de l'exploration de sites Web, car cela pourrait apporter peu de valeur et entraîner une baisse de ses KPI.

Nous savons que Bing travaille à rendre l'exploration plus efficace. Par exemple, Bing a tenté d' optimiser l'exploration du contenu statique et d'identifier des modèles qui réduiraient la fréquence d'exploration sur de nombreux sites Web.

Considérez également les différences dans la façon dont Google et Bing ont indexé les sites Web WordPress aléatoires – ils étaient beaucoup plus petits. Dans le cas de sites Web très populaires, ils sont beaucoup plus importants.

Cela m'amène à penser que, conformément au fait que Bing admet ouvertement qu'il utilise des données sur le comportement des utilisateurs dans ses algorithmes, Bing donne la priorité à l'indexation des sites Web populaires, tandis que pour Google, la popularité est moins un facteur.

Présentation d'IndexNow

Récemment, Bing est allé plus loin en adoptant le protocole IndexNow. Vous pouvez utiliser IndexNow pour informer Bing et Yandex du contenu nouveau ou mis à jour.

Grâce à nos tests, nous avons découvert que Bing commence généralement à explorer une page entre 5 secondes et 5 minutes à partir du moment où elle est soumise à l'aide d'IndexNow.

IndexNow est une initiative pour un Internet plus efficace : en indiquant aux moteurs de recherche si une URL a été modifiée, les propriétaires de sites Web fournissent un signal clair aidant les moteurs de recherche à donner la priorité à l'exploration de ces URL, limitant ainsi le besoin d'exploration exploratoire pour tester si le contenu a été modifié. modifié […].

Nous continuerons d'apprendre et de nous améliorer à [a] plus grande échelle et d'ajuster les taux d'exploration des sites mettant en œuvre IndexNow. Notre objectif est de donner à chaque adoptant le maximum d'avantages en termes d'indexation, de gestion de la charge de crawl et de fraîcheur du contenu pour les chercheurs.

source : Blog Bing, "IndexNow - Indexez instantanément votre contenu Web dans les moteurs de recherche"

IndexNow permet aux sites Web d'indexer leur contenu plus rapidement et d'utiliser moins de ressources pour l'exploration. Ainsi, les entreprises peuvent créer une meilleure expérience pour leurs clients en leur donnant accès aux informations les plus pertinentes.

Nous avons créé un outil qui vous aidera à soumettre des URL ou des plans de site à IndexNow encore plus rapidement et plus facilement.

Fondamentalement, IndexNow est une opportunité pour les petits moteurs de recherche comme Bing et Yandex d'ajouter à leurs index une vaste base de données de contenu. IndexNow résout le problème auquel les moteurs de recherche, y compris Google, sont confrontés aujourd'hui - devoir explorer et restituer des quantités croissantes de contenu.

Le temps nous dira si Google adopte le protocole IndexNow ou crée une solution alternative qui permettra aux propriétaires de sites de soumettre des pages pour indexation.

Optimiser la manière dont les pages sont explorées et indexées

Un autre point à retenir de mon analyse d'indexation est l'importance de simplifier l'exploration et l'indexation pour les moteurs de recherche.

Tout d'abord, vous devez créer et maintenir des plans de site qui incluent vos précieuses URL. Les sitemaps sont utiles pour Bing et Google pour découvrir le contenu qu'ils doivent indexer.

Les moteurs de recherche auront du mal à identifier les pages pertinentes et doivent être indexées si vous ne soumettez pas un sitemap optimisé. Pour plus de détails sur la configuration d'un sitemap et les pages à inclure, lisez notre Guide ultime des sitemaps XML.

De plus, vous devez disposer d'un fichier robots.txt contenant les directives correctes pour les bots et les balises "noindex" correctement implémentées sur les pages qui ne doivent pas être indexées.

Emballer

Pour définir un modèle clair dans l'indexation de Bing et de Google, je devrais inspecter beaucoup plus de sites Web, mais il y a certaines idées que nous pouvons tirer de mes échantillons de données :

• Bing indexe plus de contenu que Google.
• Google découvre plus de contenu que Bing, ce qui suggère que Google est plus pointilleux en matière d'indexation. Le principe directeur de Bing est de moins explorer et de se concentrer sur le contenu qui a été ajouté ou mis à jour.
• Bing donne la priorité à l'indexation des sites Web populaires, tandis que la popularité est moins un facteur pour Google.

Nous pouvons également voir que la qualité du contenu et l'optimisation de l'exploration et de l'indexation de votre site sont des aspects essentiels du référencement, et ils ne peuvent être sous-estimés ou négligés. De plus, ces facteurs resteront probablement cruciaux à mesure que le Web se développera et que les algorithmes des moteurs de recherche deviendront plus sophistiqués.