Google dimentica gli URL nella coda di indicizzazione

I bug di indicizzazione non sono inauditi. Google ha avuto problemi con l'indicizzazione da un po' di tempo ormai. Possono capitare a chiunque senza colpa del proprietario del sito web, indipendentemente dalle dimensioni del sito web. Proprio l'anno scorso si è verificato un caso di bug di indicizzazione relativi all'indicizzazione e alla canonizzazione dei dispositivi mobili.  

Alcuni mesi fa, ho riscontrato personalmente un bug di indicizzazione quando si è scoperto che la mia Guida definitiva all'indicizzazione SEO non era indicizzata.

Dopo una ricerca approfondita, ho scoperto che Google ha indicizzato la versione sbagliata dell'URL senza una ragione apparente. Puoi saperne di più su questo particolare bug nel mio articolo La mia guida definitiva all'indicizzazione La SEO non è indicizzata.

All'inizio di quest'anno, ho trovato un altro bug di indicizzazione, che indicava che Google potrebbe perdere traccia degli URL nella coda di indicizzazione.  

Analizziamolo passo dopo passo.

URL dimenticato nella coda di indicizzazione di Google

Il 6 ottobre abbiamo pubblicato un articolo: Rendering SEO: How Google Digests Your Content. L'articolo era la trascrizione di una conversazione tra Bartosz Goralewicz di Onely, Martin Splitt di Google e Jason Barnard di Kalicube.

Purtroppo, durante le tre settimane dalla data di pubblicazione, l'articolo non ha portato traffico da Google.

L'ho trovato strano: un altro articolo interessante non indicizzato da Google? Google soffre di un altro bug di indicizzazione?

Dato che mi sforzo di capire i dettagli del processo di indicizzazione di Google, ho deciso di condurre una piccola indagine.

Ho controllato cosa aveva da dire Google Search Console su questo URL.

GSC ha dichiarato che questo URL era "Scoperta - attualmente non indicizzata".  

Quando esamini la documentazione di Google, troverai la seguente spiegazione dello stato:

Scoperta – attualmente non indicizzata: la pagina è stata trovata da Google, ma non è stata ancora scansionata.

fonte: Google

Lo stato dell'URL sembrava altamente improbabile. Non potevo credere che Google non avesse eseguito la scansione di questa pagina entro tre settimane dalla pubblicazione su un sito Web relativamente piccolo.

Quindi, ho controllato i registri del nostro server.

I log del server ti consentono di esaminare il traffico in arrivo al tuo sito web. Contengono informazioni su ogni richiesta, inclusi ora e data, stringa user-agent, indirizzo IP, ecc. Grazie a queste informazioni, ho potuto vedere se (e quando) Googlebot era su questa pagina.

Sorprendentemente, ho scoperto che Googlebot ha visitato la pagina il giorno in cui abbiamo pubblicato l'articolo!

A questo punto, avevo due informazioni cruciali:

1. I dati di Google Search Console che Googlebot non aveva ancora visitato la pagina non erano veri. I log del server hanno dimostrato che Googlebot ha visitato l'URL il giorno in cui l'articolo è stato pubblicato.
2. Non era solo un bug di segnalazione da Google Search Console. La pagina non riceveva traffico organico, quindi c'erano chiaramente problemi più significativi dei semplici errori nel rapporto.

Più siti Web soffrono del bug di indicizzazione di Google

Volevo saperne di più su questo bug e sulla sua portata, quindi ho ricercato un campione più ampio di siti Web per trarre conclusioni attuabili.

Ho raccolto i registri del server da altri quattro siti Web e ho scavato nei dati.

Si è scoperto che il 100% dei siti Web che ho esaminato soffriva proprio di questo problema. C'erano più URL visitati da Googlebot, ma classificati erroneamente da Google Search Console come:

• Scoperto – attualmente non indicizzato, o
• Sconosciuto.

Nel caso dello stato Sconosciuto, sembra che Google affermi di non aver mai visitato la pagina e di non avere memoria nemmeno di aver scoperto l'URL.

Ho scoperto che il problema era presente su una delle pagine testate anche 6 mesi dopo che Google l'ha visitata inizialmente. Secondo i registri del server, l'ultima visita è stata il 7 marzo, ma il 27 ottobre lo stato era ancora Sconosciuto.

Sembra che Google dimentichi occasionalmente gli URL a un certo punto della pipeline di indicizzazione. Non è chiaro se il motore di ricerca stia solo perdendo traccia di alcuni URL o omettendoli deliberatamente.

In ogni caso, le conseguenze sono gravi. Le pagine dimenticate non ricevono traffico organico.

Una possibile soluzione al bug

Dan Shure ha condiviso un caso interessante relativo al bug dell'URL dimenticato.

"Scoperta - ma attualmente non indicizzata" potrebbe inserire un URL in una sorta di "lista nera"?

Ho pensato di condividere qualcosa di strano e interessante che è successo con alcuni post sul blog di un cliente..

(1/5) (Odio fare discussioni ma questo ha bisogno di un piccolo dettaglio)

— Dan Shure (@dan_shure) 8 novembre 2021

Sembra che la modifica dell'URL sia stata sufficiente per risolvere il problema.

Dan Shure non è stato l'unico a testare questa soluzione. Frank Olivo ha ottenuto quasi ⅓ dei suoi articoli indicizzati cambiando i loro URL!

Questo ha funzionato per circa 12 dei 38 articoli su cui l'abbiamo provato. Tutti indicizzati lo stesso giorno in cui abbiamo ripubblicato. Gli articoli rimanenti sono ancora "scoperti" quasi un mese dopo.

— Frank Olivo (@FrancoOlivo) 7 dicembre 2021

È possibile che questi URL rientrassero in schemi di URL di bassa qualità, quindi Google non li stava scansionando e quindi li ha classificati come "Scoperta - attualmente non indicizzata" in Google Search Console.

Potresti convincere Google a considerare la pagina come nuova e a scansionarla nuovamente modificando l'URL. Questa soluzione potrebbe aiutare a ottenere l'indicizzazione della pagina, ma è solo una soluzione alternativa. Non impedisce che il problema si ripresenti. Google dovrebbe risolvere il problema e il bug dovrebbe essere risolto in modo permanente.

Avvolgendo

Come descritto nell'articolo, c'è un grave problema con l'indicizzazione. Non è così evidente e spettacolare come i precedenti bug di indicizzazione (ad esempio, legati alla canonizzazione), ma può comunque avere un impatto negativo su qualsiasi sito web.

Se sei un dipendente di Google e vuoi indagare sul problema, posso condividere alcuni URL di esempio che hanno sofferto di questo problema.

Hai notato questo bug o un bug di indicizzazione simile sul tuo sito? Fammi sapere!