Google se olvida de las URL en la cola de indexación

Los errores de indexación no son desconocidos. Google ha estado teniendo problemas con la indexación desde hace bastante tiempo. Pueden ocurrirle a cualquiera sin que sea culpa del propietario del sitio web, independientemente del tamaño del sitio web. Apenas el año pasado, hubo un caso de errores de indexación relacionados con la indexación y canonicalización móvil.  

Hace unos meses, personalmente experimenté un error de indexación cuando resultó que mi Guía definitiva para la indexación de SEO no estaba indexada.

Después de una investigación exhaustiva, descubrí que Google indexó la versión incorrecta de la URL sin razón aparente. Puede obtener más información sobre este error en particular en mi artículo Mi guía definitiva para indexar SEO no está indexado.

A principios de este año, encontré otro error de indexación que indicaba que Google podría estar perdiendo la pista de las URL en la cola de indexación.  

Vamos a desglosarlo paso a paso.

URL olvidada en la cola de indexación de Google

El 6 de octubre publicamos un artículo: Rendering SEO: Cómo Google digiere tu contenido. El artículo era una transcripción de una conversación entre Bartosz Goralewicz de Onely, Martin Splitt de Google y Jason Barnard de Kalicube.

Desafortunadamente, durante las tres semanas desde la fecha de publicación, el artículo no atrajo ningún tráfico de Google.

Me pareció extraño: ¿otro artículo interesante no indexado por Google? ¿Google sufre de otro error de indexación?

Dado que me esfuerzo por comprender los entresijos del proceso de indexación de Google, decidí realizar una pequeña investigación.

Revisé lo que Google Search Console tenía que decir sobre esta URL.

GSC declaró que esta URL fue "Descubierta, actualmente no indexada".  

Cuando busque en la documentación de Google, encontrará la siguiente explicación del estado:

Descubierta, actualmente no indexada: Google encontró la página, pero aún no la rastreó.

fuente: Google

El estado de la URL parecía muy improbable. No podía creer que Google no rastreara esta página dentro de las tres semanas posteriores a la publicación en un sitio web relativamente pequeño.

Entonces, revisé los registros de nuestro servidor.

Los registros del servidor le permiten examinar el tráfico que llega a su sitio web. Contienen información sobre cada solicitud, incluida su hora y fecha, cadena de agente de usuario, dirección IP, etc. Gracias a esta información, pude ver si (y cuándo) Googlebot estaba en esta página.

Sorprendentemente, descubrí que Googlebot visitó la página el día que publicamos el artículo.

En este punto, tenía dos piezas cruciales de información:

1. Los datos de Google Search Console de que Googlebot aún no había visitado la página no eran ciertos. Los registros del servidor demostraron que Googlebot visitó la URL el día que se publicó el artículo.
2. No fue solo un error de informe de Google Search Console. La página no estaba recibiendo tráfico orgánico, por lo que claramente había problemas más importantes que simples errores en el informe.

Más sitios web sufren el error de indexación de Google

Quería saber más sobre este error y su escala, así que investigué una muestra más grande de sitios web para sacar conclusiones procesables.

Recopilé registros del servidor de otros cuatro sitios web y busqué en los datos.

Resultó que el 100 % de los sitios web que examiné padecían este mismo problema. Googlebot visitó varias URL , pero Google Search Console las clasificó incorrectamente como:

• Descubierto: actualmente no indexado, o
• Desconocido.

En el caso del estado Desconocido, parece que Google afirma que nunca visitó la página y no recuerda haber descubierto la URL.

Descubrí que el problema estaba presente en una de las páginas probadas incluso 6 meses después de que Google la visitara inicialmente. Según los registros del servidor, la última visita fue el 7 de marzo, pero el 27 de octubre, el estado aún era Desconocido.

Parece que Google ocasionalmente se olvida de las URL en algún momento de la canalización de indexación. No está claro si el motor de búsqueda simplemente está perdiendo el rastro de algunas URL o las está omitiendo deliberadamente.

De cualquier manera, las consecuencias son graves. Las páginas olvidadas no reciben tráfico orgánico.

Una posible solución al error.

Dan Shure compartió un caso interesante relacionado con el error de URL olvidada.

¿Podría "Descubierto, pero actualmente no indexado" poner una URL en algún tipo de 'lista negra'?

Pensé en compartir algo extraño e interesante que sucedió con algunas publicaciones de blog de un cliente...

(1/5) (Odio hacer hilos pero esto necesita un pequeño detalle)

— Dan Shure (@dan_shure) 8 de noviembre de 2021

Parece que cambiar la URL fue suficiente para resolver el problema.

Dan Shure no fue el único que probó esta solución. ¡Frank Olivo logró indexar casi ⅓ de sus artículos al cambiar sus URL!

Esto funcionó para alrededor de 12 de los 38 artículos en los que lo probamos. Todos indexados el mismo día que volvimos a publicar. Los artículos restantes todavía se "descubren" casi un mes después.

– Frank Olivo (@FrancoOlivo) 7 de diciembre de 2021

Es posible que estas URL caigan bajo patrones de URL de baja calidad, por lo que Google no las rastreó y, por lo tanto, las clasificó como "Descubiertas, actualmente no indexadas" en Google Search Console.

Puede convencer a Google para que trate la página como una nueva y la rastree nuevamente cambiando la URL. Esta solución podría ayudar a indexar la página, pero es solo una solución. No evita que el problema vuelva a ocurrir. Google debería abordar el problema y el error debería corregirse de forma permanente.

Terminando

Como se describe en el artículo, hay un grave problema con la indexación. No es tan evidente ni espectacular como los errores de indexación anteriores (p. ej., relacionados con la canonicalización), pero aun así puede tener un impacto negativo en cualquier sitio web.

Si es un empleado de Google y desea investigar el problema, puedo compartir algunas URL de muestra que sufrieron este problema.

¿Notó este error o un error de indexación similar en su sitio? ¡Hágamelo saber!