Los motores de búsqueda no pueden descubrir e indexar todas las páginas de la web; deben tomar decisiones al respecto. Y, aunque todos los motores de búsqueda tienen el mismo propósito, usan diferentes criterios para determinar qué páginas indexar.

Dicho esto, generalmente es bueno si un motor de búsqueda puede rastrear e indexar tanto contenido valioso como sea posible; aumenta las probabilidades de que muestre a los usuarios lo que están buscando.

Tenía curiosidad sobre qué motor de búsqueda, Bing o Google, indexa más contenido en general.

Este artículo describe los diferentes aspectos de mi investigación y, aunque necesitaría más datos para sacar conclusiones definitivas, logré recopilar muchas ideas únicas y valiosas.

Esto es lo que descubrí acerca de cómo Bing y Google indexan las páginas web.

Análisis de datos de indexación: metodología y resultados

Cobertura de índice de una muestra aleatoria de sitios de WordPress

El primer paso de mi investigación fue recopilar una muestra de páginas para verificar sus estadísticas de indexación.

Decidí que un buen punto de partida sería usar una muestra de sitios web que usan el complemento de WordPress Yoast SEO . Había una razón práctica detrás de elegir este complemento: divide los mapas del sitio por secciones, lo que me permitiría analizar qué secciones están más indexadas.

Encontré una lista de sitios web que usan el complemento Yoast SEO en builtwith.com , un sitio que informa sobre sitios web que usan tecnologías o herramientas determinadas. Elegí una muestra aleatoria de 200 sitios web de una lista de sitios que usan Yoast SEO.

Luego, revisé las estadísticas de indexación de esos sitios web usando ZipTie.dev , y los datos que surgieron son muy interesantes.

Bing indexó más páginas web que Google.

Eche un vistazo a los gráficos a continuación que muestran las estadísticas de indexación para categorías de mapas de sitio determinadas:

La cobertura del índice es la misma para Bing y Google para las categorías de historia y prensa. Además, Google indexó más contenido en guías y ubicaciones. Sin embargo, en todas las categorías de mapas de sitios restantes, la indexación de Bing supera a la de Google, incluidas categorías importantes, como publicaciones, productos e imágenes.

Pero, ¿significa esto que Bing también puede rastrear más páginas que Google? ¿O rastrean cantidades similares de contenido pero tienen diferentes preferencias en lo que respecta a la indexación?

Rastreo de datos para una muestra de nuestros clientes

Para ampliar mis hallazgos, verifiqué los datos de algunos de nuestros clientes tanto en Bing Webmaster Tools como en Google Search Console.  

Estas herramientas muestran las páginas que el motor de búsqueda respectivo conoce para un dominio determinado.

En Google Search Console, miré Todas las páginas conocidas que aparecían en el informe de Cobertura de índice y verifiqué la cantidad de URL para los cuatro estados (Errores, Válido, Válido con advertencias y Excluido).

En Bing Webmaster Tools, en la sección Site Explorer, que contiene datos de indexación para las páginas en un dominio determinado, filtré la vista para mostrar Todas las URL.

Esto me mostró todas las URL descubiertas para cada dominio que analicé.

Después de comparar los datos que obtuve en ambas herramientas, noté que Google descubrió más páginas que Bing.

Por otro lado (suponiendo que estos hallazgos sean consistentes en ambas muestras de sitios web probados), ya sabemos que las páginas descubiertas por Google y Bing tienen más probabilidades de ser indexadas por Bing.

Tenga en cuenta que estos resultados son solo para una pequeña muestra de sitios y es posible que no representen toda la web.

Índice de cobertura de una muestra de sitios populares

El tercer aspecto de mi investigación fue verificar el estado de indexación de algunos sitios web populares usando ZipTie para ver cómo varía entre Bing y Google.

Aprendí que Bing está mucho más ansioso por indexar estos sitios que Google. Esto confirmó mis hallazgos anteriores para la muestra de sitios web de WordPress que usan YoastSEO.

Fíjate en los datos que obtuve:

Indexación de Bing frente a Google: observaciones iniciales

¿Podemos decir que Bing es un mejor motor de búsqueda según los datos?

Aunque Bing indexa más contenido, no podemos señalar un solo ganador con solo mirar las estadísticas de indexación. No sabemos por qué Bing indexa más que Google.

Mi hipótesis es que Google podría ser "más exigente" que Bing. No es ningún misterio que la selección de índices es una cosa.

Lo hemos estado diciendo durante años: ser indexado por Google es cada vez más difícil.

También sabemos que los motores de búsqueda rastrean las páginas a diferentes velocidades.

Esto es lo que dijo John Mueller sobre la frecuencia con la que Googlebot rastrea las páginas:

Creo que la parte difícil aquí es que no rastreamos las URL con la misma frecuencia todo el tiempo. Rastrearemos diariamente algunas URL. Algunas URL pueden ser semanales. Otras URL cada dos meses, tal vez incluso cada medio año más o menos. Así que esto es algo para lo que tratamos de encontrar el equilibrio adecuado, de modo que no sobrecarguemos su servidor. […] Entonces, en particular, si hace cosas como consultas de sitios, existe la posibilidad de que vea esas URL que se rastrean una vez cada medio año. Todavía estarán allí después de un par de meses. […] si cree que estas URL realmente no deberían indexarse ​​en absoluto, entonces tal vez pueda respaldar eso y decir, bueno, aquí hay un archivo de mapa del sitio con la última fecha de modificación para que Google se dispare e intente duplicar- verifique estos un poco más rápido que de otra manera.

fuente: John Müller

También encontré algunas ideas interesantes en la documentación de Bing:

Para medir qué tan inteligente es nuestro rastreador, medimos la eficiencia de rastreo de bingbot. La eficiencia del rastreo es la frecuencia con la que rastreamos y descubrimos contenido nuevo y actualizado por página rastreada. Nuestra estrella norte de eficiencia de rastreo es rastrear una URL solo cuando el contenido se ha agregado (URL no rastreada antes), actualizado (contexto nuevo en la página o enlaces salientes útiles). Cuanto más rastreamos contenido duplicado y sin cambios, menor es nuestra métrica de eficiencia de rastreo.

fuente: Serie Bingbot: Maximización de la eficiencia del rastreo”

Es posible que Bing no quiera profundizar al rastrear sitios web, ya que hacerlo podría proporcionar poco valor y hacer que sus KPI disminuyan.

Sabemos que Bing ha estado trabajando para hacer que el rastreo sea más eficiente. Por ejemplo, Bing intentó optimizar el rastreo de contenido estático e identificar patrones que reducirían la frecuencia de rastreo en muchos sitios web.

Además, considere las diferencias en cómo Google y Bing indexaron los sitios web aleatorios de WordPress: eran mucho más pequeños. En el caso de sitios web muy populares, son mucho más significativos.

Esto me lleva a pensar que, en línea con el hecho de que Bing admite abiertamente que usa datos de comportamiento de los usuarios en sus algoritmos, Bing prioriza en gran medida la indexación de sitios web que son populares, mientras que para Google, la popularidad es un factor menor.

Introducción a IndexNow

Recientemente, Bing dio un paso más al adoptar el protocolo IndexNow. Puede usar IndexNow para informar a Bing y Yandex sobre contenido nuevo o actualizado.

A través de nuestras pruebas, descubrimos que Bing generalmente comenzará a rastrear una página entre 5 segundos y 5 minutos desde que se envía mediante IndexNow.

IndexNow es una iniciativa para una Internet más eficiente: al informar a los motores de búsqueda si se ha cambiado una URL, los propietarios de sitios web brindan una señal clara que ayuda a los motores de búsqueda a priorizar el rastreo de estas URL, lo que limita la necesidad de un rastreo exploratorio para probar si el contenido ha cambiado. cambió […].

Continuaremos aprendiendo y mejorando a [a] mayor escala y ajustando las tasas de rastreo para los sitios que implementan IndexNow. Nuestro objetivo es brindar a cada usuario el máximo beneficio en términos de indexación, administración de carga de rastreo y actualización del contenido para los buscadores.

fuente: Blog de Bing, "IndexNow: indexe instantáneamente su contenido web en los motores de búsqueda"

IndexNow permite que los sitios web indexen su contenido más rápido y usen menos recursos para rastrear. Como resultado, las empresas pueden crear una mejor experiencia para sus clientes dándoles acceso a la información más relevante.

Creamos una herramienta que lo ayudará a enviar URL o mapas de sitios a IndexNow de manera aún más rápida y fácil.

Crucialmente, IndexNow es una oportunidad para que los motores de búsqueda más pequeños como Bing y Yandex agreguen a sus índices desde una extensa base de datos de contenido. IndexNow aborda el problema con el que luchan los motores de búsqueda, incluido Google, en la actualidad: tener que rastrear y mostrar cantidades cada vez mayores de contenido.

El tiempo dirá si Google adopta el protocolo IndexNow o crea una solución alternativa que permita a los propietarios de sitios enviar páginas para su indexación.

Optimizar cómo se rastrean e indexan las páginas

Otra conclusión de mi análisis de indexación es lo importante que es simplificar el rastreo y la indexación para los motores de búsqueda.

Primero, debe crear y mantener mapas de sitios que incluyan sus valiosas URL. Los sitemaps son útiles para que Bing y Google descubran el contenido que deben indexar.

Los motores de búsqueda tendrán dificultades para detectar qué páginas son relevantes y deben indexarse ​​si no envía un mapa del sitio optimizado. Para obtener más detalles sobre cómo configurar un mapa del sitio y qué páginas incluir, lea nuestra Guía definitiva para los mapas del sitio XML.

Además, debe tener un archivo robots.txt que contenga las directivas correctas para los bots y las etiquetas 'noindex' implementadas correctamente en las páginas que no deben indexarse.

Terminando

Para definir un patrón claro en la indexación de Bing y Google, tendría que inspeccionar muchos más sitios web, pero hay ciertas ideas que podemos obtener de mis muestras de datos:

• Bing indexa más contenido que Google.
• Google descubre más contenido que Bing, lo que sugiere que Google es más exigente con la indexación. El principio rector de Bing es rastrear menos y centrarse en el contenido que se ha agregado o actualizado.
• Bing prioriza la indexación de sitios web populares, mientras que la popularidad es un factor menor para Google.

También podemos ver que la calidad del contenido y la optimización del rastreo y la indexación de su sitio son aspectos vitales del SEO, y no se pueden subestimar ni descuidar. Además, es probable que estos factores sigan siendo cruciales a medida que crece la web y los algoritmos de los motores de búsqueda se vuelven más sofisticados.