Principales perspectivas de "Los límites de los motores de búsqueda y cómo podemos superarlos"

El 30 de noviembre de 2021, Bartosz Goralewicz y Tomasz Rudzki se sentaron con Fabrice Ca nel, Gerente Principal de Programas en Bing, para discutir los desafíos que enfrentan los motores de búsqueda en este momento: cómo seguir rastreando e indexando la web que se vuelve cada vez más pesada y más grande. ?

Si desea saber cómo fue toda la conversación, puede ver el seminario web aquí.

En este artículo, quiero presentar las ideas y los anuncios más emocionantes del seminario web.

IndexNow ayuda a optimizar el presupuesto de rastreo

La conversación comenzó con un tema popular en la industria de SEO en este momento: ¿qué problema está tratando de resolver IndexNow?

Los motores de búsqueda tienen muy poca idea de lo que sucede en Internet. Por lo tanto, deben seguir rastreando las páginas para descubrir si hay contenido nuevo o actualizado. Como resultado, pueden desperdiciar el presupuesto de rastreo en páginas de baja calidad o páginas que no se han actualizado.

Creemos que es bueno para la industria cambiar este modelo. Le ayudará a obtener el contenido más reciente indexado en los motores de búsqueda y puede ayudarnos a minimizar el rastreo, lo cual es bueno para toda la industria.

fuente: Fabrice Canel

Los motores de búsqueda no saben cuándo publicará su próximo artículo de blog, ¡pero usted sí! Notificarles sobre contenido nuevo en su sitio brinda beneficios mutuos : su contenido puede aparecer más rápido en SERP y los motores de búsqueda pueden reducir la cantidad de recursos que necesitan para rastrear e indexar un sitio web.

La solución para hacer ping a los motores de búsqueda no es una idea nueva. Hace unos años, los webmasters podían enviar URL a los motores de búsqueda. El problema era que era fácil enviar spam a los motores de búsqueda con envíos innecesarios, por lo que necesitaba mejorar.

En comparación con la solución anterior con un simple ping enviado a los motores de búsqueda, IndexNow agrega una capa de confianza. Debe generar una clave API y alojarla en su sitio web. De esta forma, los motores de búsqueda pueden verificar que la URL enviada le pertenece, minimizando el ruido en los datos resultantes.

Los sitemaps no son suficientes

Si se pregunta por qué los sitemaps bien optimizados no son suficientes para admitir el rastreo y por qué todavía necesitamos IndexNow, entonces la respuesta es: ¡los sitemaps no son suficientes!

En general, Bing intentará descargar mapas de sitios más o menos una vez al día. […] Pero el internet es más de una vez al día. No desea esperar un día cuando tenga un comunicado de prensa en camino. Tal vez necesite notificar a los motores de búsqueda de inmediato.

fuente: Fabrice Canel

Por lo tanto, IndexNow lo ayuda a enviar su contenido a los motores de búsqueda cuando es urgente. Esto es especialmente importante para los sitios web de noticias, pero es particularmente importante para cualquier sitio web obtener contenido nuevo indexado lo más rápido posible.

Además, los mapas de sitio son excelentes para enumerar las URL, pero no tanto para actualizar el contenido. La etiqueta lastmod a menudo se abusa y se configura incorrectamente.

IndexNow es menos ruidoso que los mapas de sitio. Fabrice afirmó que los datos que provienen de IndexNow son muy prometedores y demostraron guiar a los bots hacia contenido de alta calidad y minimizar el rastreo.

Una de las cosas que debe recordar es que si va a enviar su URL aunque no haya cambiado, Bing podría perder la confianza y dejar de rastrear la página después de usar IndexNow.

Todo esto no significa que debas dejar de usar mapas de sitio XML. Fabrice señaló que los sitemaps funcionan particularmente bien cuando se combinan con el uso de IndexNow; no es como si debas usar uno u otro.

Cloudflare ahora es compatible con IndexNow

Durante el seminario web, Fabrice anunció que Cloudflare ahora es compatible con IndexNow.

Cloudflare tiene una función llamada Crawler Hints, que proporciona datos para los motores de búsqueda sobre los cambios en su contenido. Y ahora, Crawler Hints es compatible con IndexNow y puede notificar directamente a los motores de búsqueda sobre cualquier contenido nuevo, actualizado o eliminado a través de este nuevo protocolo.

Más de 60 000 sitios web ya han sintonizado la capacidad de Cloudflare para admitir IndexNow. Significa miles de millones de URL por día que vienen a decirnos qué cambió en Internet. […] Brinda beneficios para Bing y otros motores de búsqueda, así como para los propietarios de sitios web.

fuente: Fabrice Canel

¡Todo lo que necesita hacer es habilitar Crawler Hints en su sitio web con un simple clic, y Cloudflare se encargará del resto! Puede encontrar más información sobre cómo activar las Sugerencias de Crawler aquí.

IndexNow no da un impulso de clasificación

Bartosz le preguntó a Fabrice sobre el hecho de que muchos dominios que comenzaron a usar IndexNow parecen recibir ahora un mayor tráfico de Bing. Pero no, IndexNow no te da ningún impulso en la clasificación.

No estamos priorizando en base a IndexNow. No es una señal de clasificación. Habilitar IndexNow no lo ayudará a obtener una clasificación más alta.

fuente: Fabrice Canel

Sin embargo, con la cantidad de contenido de Internet que se crea continuamente, cuanto antes se indexe, más posibilidades tendrá de aparecer más arriba en los SERP.

Es especialmente importante para sitios con secciones de noticias. Es crucial ser indexado lo antes posible. Si los motores de búsqueda tardan en rastrear e indexar su contenido, es posible que se quede atrás de la competencia.

Es por eso que los sitios web que usan IndexNow podrían tener mejores resultados en SERP. Los webmasters saben mejor cuándo ha cambiado su contenido y pueden notificar a los motores de búsqueda que rastreen e indexen la página rápidamente.

IndexNow libera los recursos necesarios para renderizar

Como mencionó Fabrice en el seminario web, la representación es vital para que los motores de búsqueda comprendan el contenido. Es por eso que Bing se esfuerza por generar la mayor cantidad de contenido posible.

Al adoptar IndexNow, puede ayudar a los motores de búsqueda a liberar recursos para rastrear contenido adicional, como JavaScript, necesario para representar la página.

Además, la representación del sitio web depende de su tamaño. Los motores de búsqueda pueden funcionar bien con el renderizado si solo tiene unas pocas páginas. Aún así, si tiene un gran sitio web de comercio electrónico con millones de páginas llenas de contenido rico en JavaScript, es posible que sus recursos no sean suficientes para representarlo todo. En este caso, es crucial notificar a los bots de los motores de búsqueda sobre lo que deben rastrear y ayudarlos a ahorrar el presupuesto de rastreo.

En unos años, queremos poder renderizar todos los contenidos de Internet. Sin embargo, sea razonable al crear sus sitios: si los clientes necesitan hacer clic en algo en una página para acceder a algún contenido, los motores de búsqueda deberán hacer lo mismo, pero aún no son más inteligentes que los clientes. Asegúrese de que todo el contenido de una página se muestre inmediatamente y no lo oculte.

fuente: Fabrice Canel

Colaboración en el futuro de los motores de búsqueda

En el pasado, los motores de búsqueda colaboraron en iniciativas esenciales como schema.org o el protocolo robots.txt.

Durante el seminario web, se le preguntó a Fabrice sobre áreas potenciales en las que dicha cooperación podría ocurrir en un futuro cercano. Señaló el problema de las etiquetas hreflang y cómo son responsables de generar billones de URL redundantes que generan desperdicio para los motores de búsqueda e Internet en general.

Fabrice dijo que su deseo es trabajar con otros motores de búsqueda para encontrar nuevas formas de dirigirse a los mercados internacionales que también permitan a los motores de búsqueda consolidar las señales en una sola página para un idioma. Esto tendría que involucrar una solución para que los propietarios de sitios web dirijan a los usuarios del mismo idioma a contenido dirigido a mercados específicos (por ejemplo, los hispanohablantes en Argentina y Uruguay llegarían a la misma página y luego serían dirigidos a contenido específico de Argentina y Uruguay) .

Fabrice resumió que no debería haber necesidad de optimizar su sitio web para motores de búsqueda específicos en el futuro. En cambio, los motores de búsqueda deberían seguir protocolos comunes y crear soluciones para mejorar las limitaciones actuales y beneficiar a la industria.