Top Insights de "Les limites des moteurs de recherche et comment nous pouvons les surmonter"

Le 30 novembre 2021, Bartosz Goralewicz et Tomasz Rudzki se sont entretenus avec Fabrice Canel , le responsable principal du programme chez Bing, pour discuter des défis auxquels les moteurs de recherche sont actuellement confrontés - comment continuer à explorer et à indexer le Web qui devient de plus en plus lourd et gros ?

Si vous voulez savoir comment s'est déroulée toute la conversation, vous pouvez regarder le webinaire ici.

Dans cet article, je souhaite présenter les idées et les annonces les plus intéressantes du webinaire.

IndexNow permet d'optimiser le budget de crawl

La conversation a commencé avec un sujet populaire dans l'industrie du référencement en ce moment - quel problème IndexNow essaie-t-il de résoudre ?

Les moteurs de recherche ont très peu d'indices sur ce qui se passe sur Internet. Ils doivent donc continuer à explorer les pages pour découvrir s'il y a du contenu mis à jour ou nouveau. En conséquence, ils pourraient gaspiller le budget de crawl sur des pages de mauvaise qualité ou des pages qui n'ont pas été mises à jour.

Nous croyons qu'il est bon pour l'industrie de changer ce modèle. Cela vous aidera à obtenir le dernier contenu indexé dans les moteurs de recherche, et vous pouvez nous aider à minimiser l'exploration, ce qui est bon pour l'ensemble de l'industrie.

Source : Fabrice Canel

Les moteurs de recherche ne savent pas quand vous publierez votre prochain article de blog, mais vous le savez ! Les informer du nouveau contenu de votre site présente des avantages mutuels : votre contenu peut apparaître plus rapidement dans le SERP et les moteurs de recherche peuvent réduire la quantité de ressources dont ils ont besoin pour explorer et indexer un site Web.

La solution pour cingler les moteurs de recherche n'est pas une idée nouvelle. Il y a quelques années, les webmasters pouvaient soumettre des URL aux moteurs de recherche. Le problème était qu'il était facile de spammer les moteurs de recherche avec des soumissions inutiles, il fallait donc l'améliorer.

Par rapport à l'ancienne solution avec un simple ping envoyé aux moteurs de recherche, IndexNow ajoute une couche de confiance. Vous devez générer une clé API et l'héberger sur votre site Web. De cette façon, les moteurs de recherche peuvent vérifier que l'URL soumise vous appartient, minimisant ainsi le bruit dans les données résultantes.

Les sitemaps ne suffisent pas

Si vous vous demandez pourquoi des sitemaps bien optimisés ne suffisent pas à prendre en charge l'exploration et pourquoi nous avons toujours besoin d'IndexNow, alors la réponse est : les sitemaps ne suffisent pas !

En général, Bing essaiera de télécharger des sitemaps plus ou moins une fois par jour. […] Mais Internet, c'est plus d'une fois par jour. Vous ne voulez pas attendre un jour quand vous avez un communiqué de presse à venir. Peut-être avez-vous besoin d'informer immédiatement les moteurs de recherche.

Source : Fabrice Canel

IndexNow vous aide donc à pousser votre contenu vers les moteurs de recherche lorsqu'il est urgent. Ceci est particulièrement important pour les sites Web d'actualités, mais il est particulièrement important pour tout site Web d'obtenir le nouveau contenu indexé le plus rapidement possible.

De plus, les sitemaps sont parfaits pour répertorier les URL, mais pas tant pour mettre à jour le contenu. La balise lastmod est souvent mal utilisée et configurée de manière incorrecte.

IndexNow est moins bruyant que les sitemaps. Fabrice a déclaré que les données provenant d'IndexNow sont très prometteuses et qu'elles se sont avérées guider les bots vers un contenu de haute qualité et minimiser l'exploration.

L'une des choses à retenir est que si vous allez soumettre votre URL même si elle n'a pas changé, Bing pourrait perdre la confiance et arrêter de venir explorer la page après avoir utilisé IndexNow.

Tout cela ne signifie pas que vous devez arrêter d'utiliser les sitemaps XML. Fabrice a souligné que les sitemaps fonctionnent particulièrement bien lorsqu'ils sont associés à l'utilisation d'IndexNow - ce n'est pas comme si vous deviez utiliser l'un ou l'autre.

Cloudflare prend désormais en charge IndexNow

Au cours du webinaire, Fabrice a annoncé que Cloudflare prend désormais en charge IndexNow.

Cloudflare dispose d'une fonctionnalité appelée Crawler Hints, qui fournit des données aux moteurs de recherche sur les modifications apportées à votre contenu. Et maintenant, Crawler Hints prend en charge IndexNow et peut informer directement les moteurs de recherche de tout contenu nouveau, mis à jour ou supprimé via ce nouveau protocole.

Plus de 60 000 sites Web ont déjà activé la capacité de Cloudflare à prendre en charge IndexNow. Cela signifie des milliards d'URL par jour qui viennent nous dire ce qui a changé sur Internet. […] Cela apporte des avantages à Bing et aux autres moteurs de recherche, ainsi qu'aux propriétaires de sites Web.

Source : Fabrice Canel

Tout ce que vous avez à faire est d'activer Crawler Hints sur votre site Web en un simple clic, et Cloudflare s'occupe du reste ! Vous pouvez trouver plus d'informations sur la façon d'activer Crawler Hints ici.

IndexNow n'améliore pas le classement

Bartosz a interrogé Fabrice sur le fait que de nombreux domaines qui ont commencé à utiliser IndexNow semblent désormais bénéficier d'un trafic accru de Bing. Mais non, IndexNow ne vous donne aucun boost de classement.

Nous ne priorisons pas en fonction d'IndexNow. Ce n'est pas un signal de classement. L'activation d'IndexNow ne vous aidera pas à vous classer plus haut.

Source : Fabrice Canel

Cependant, avec la quantité de contenu Internet créé en permanence, plus tôt vous êtes indexé, plus vous avez de chances d'apparaître plus haut dans les SERP.

C'est particulièrement important pour les sites avec des sections d'actualités. Il est crucial d'être indexé le plus tôt possible. Si les moteurs de recherche tardent à explorer et à indexer votre contenu, vous risquez de prendre du retard sur vos concurrents.

C'est pourquoi les sites Web qui utilisent IndexNow pourraient mieux fonctionner dans les SERP. Les webmasters savent mieux quand leur contenu a changé et peuvent demander aux moteurs de recherche d'explorer et d'indexer la page rapidement.

IndexNow libère les ressources nécessaires au rendu

Comme Fabrice l'a mentionné dans le webinaire, le rendu est vital pour que les moteurs de recherche comprennent le contenu. C'est pourquoi Bing s'efforce de rendre autant de contenu que possible.

En adoptant IndexNow, vous pouvez aider les moteurs de recherche à libérer les ressources nécessaires pour explorer du contenu supplémentaire, comme JavaScript, nécessaire au rendu de la page.

De plus, le rendu du site web dépend de sa taille. Les moteurs de recherche peuvent bien faire avec le rendu si vous n'avez que quelques pages. Pourtant, si vous êtes un grand site Web de commerce électronique avec des millions de pages pleines de contenu riche en JavaScript, leurs ressources pourraient ne pas être suffisantes pour tout afficher. Dans ce cas, il est crucial d'informer les robots des moteurs de recherche de ce qu'ils doivent explorer et de les aider à économiser le budget d'exploration.

Dans quelques années, nous voulons être en mesure de restituer tous les contenus sur Internet. Cependant, soyez raisonnable dans la création de vos sites – si les clients doivent cliquer sur quelque chose sur une page pour accéder à du contenu, les moteurs de recherche devront faire de même, mais ils ne sont pas encore plus intelligents que les clients. Assurez-vous que tout le contenu d'une page y est affiché immédiatement et ne le masquez pas.

Source : Fabrice Canel

L'avenir de la collaboration des moteurs de recherche

Dans le passé, les moteurs de recherche collaboraient sur des initiatives essentielles comme schema.org ou le protocole robots.txt.

Au cours du webinaire, Fabrice a été interrogé sur les domaines potentiels où une telle coopération pourrait se produire dans un proche avenir. Il a souligné le problème des balises hreflang et comment elles sont responsables de la génération de billions d'URL redondantes qui génèrent des déchets pour les moteurs de recherche et Internet en général.

Fabrice a déclaré qu'il souhaitait travailler avec d'autres moteurs de recherche pour trouver de nouvelles façons de cibler les marchés internationaux qui permettraient également aux moteurs de recherche de consolider les signaux sur une seule page pour une langue. Cela devrait impliquer une solution permettant aux propriétaires de sites Web de diriger les utilisateurs de la même langue vers un contenu destiné à des marchés spécifiques (par exemple, les hispanophones d'Argentine et d'Uruguay atterriraient sur la même page, puis seraient dirigés vers un contenu spécifique à l'Argentine et à l'Uruguay) .

Fabrice a résumé qu'il ne devrait plus être nécessaire d'optimiser votre site Web pour des moteurs de recherche spécifiques à l'avenir. Au lieu de cela, les moteurs de recherche devraient suivre des protocoles communs et créer des solutions pour améliorer les limitations actuelles et profiter à l'industrie.