I motori di ricerca non possono scoprire e indicizzare ogni pagina sul Web: devono fare delle scelte al riguardo. E, sebbene tutti i motori di ricerca servano allo stesso scopo, utilizzano criteri diversi per le pagine da indicizzare.

Detto questo, è generalmente positivo se un motore di ricerca può eseguire la scansione e indicizzare quanti più contenuti di valore possibile: aumenta le probabilità che mostri agli utenti ciò che stanno cercando.

Ero curioso di sapere quale motore di ricerca – Bing o Google – indicizza più contenuti in generale.

Questo articolo descrive i diversi aspetti della mia ricerca e, sebbene avessi bisogno di più dati per trarre conclusioni definitive, sono comunque riuscito a raccogliere molte intuizioni uniche e preziose.

Ecco cosa ho scoperto su come Bing e Google indicizzano le pagine web.

Analisi dei dati di indicizzazione: metodologia e risultati

Copertura dell'indice di un campione casuale di siti WordPress

Il primo passo della mia ricerca è stato quello di raccogliere un campione di pagine per controllare le loro statistiche di indicizzazione.

Ho deciso che un buon punto di partenza sarebbe utilizzare un campione di siti Web utilizzando il plugin Yoast SEO per WordPress. C'era una ragione pratica dietro la scelta di questo plugin: divide le mappe dei siti per sezioni, il che mi permetterebbe di analizzare quali sezioni sono più indicizzate.

Ho trovato un elenco di siti Web che utilizzano il plug-in Yoast SEO su builtwith.com , un sito che segnala i siti Web che utilizzano determinate tecnologie o strumenti. Ho scelto un campione casuale di 200 siti Web da un elenco di siti che utilizzano Yoast SEO.

Quindi, ho controllato le statistiche di indicizzazione di quei siti Web utilizzando ZipTie.dev e i dati che sono usciti sono molto interessanti.

Bing ha indicizzato più pagine web di Google.

Dai un'occhiata ai grafici seguenti che mostrano le statistiche di indicizzazione per determinate categorie di mappe del sito:

La copertura dell'indice è la stessa per Bing e Google per le categorie di articoli e stampa. Inoltre, Google ha indicizzato più contenuti nelle guide e nelle posizioni. Tuttavia, in tutte le restanti categorie della mappa del sito, l'indicizzazione di Bing supera quella di Google, comprese le categorie importanti, come post, prodotti e immagini.

Ma questo significa che Bing è anche in grado di eseguire la scansione di più pagine di Google? Oppure eseguono la scansione di quantità simili di contenuto ma hanno preferenze diverse quando si tratta di indicizzazione?

Scansione dei dati per un campione dei nostri clienti

Per estendere le mie scoperte, ho controllato i dati di alcuni dei nostri clienti sia in Bing Webmaster Tools che in Google Search Console.  

Questi strumenti mostrano le pagine che il rispettivo motore di ricerca conosce per un determinato dominio.

In Google Search Console, ho esaminato tutte le pagine conosciute visualizzate nel rapporto sulla copertura dell'indice e ho controllato il numero di URL per tutti e quattro gli stati (Errori, Valido, Valido con avvisi ed Escluso).

In Bing Webmaster Tools, nella sezione Site Explorer, che contiene i dati di indicizzazione per le pagine di un determinato dominio, ho filtrato la visualizzazione per visualizzare Tutti gli URL.

Questo mi ha mostrato tutti gli URL scoperti per ogni dominio che ho analizzato.

Dopo aver confrontato i dati che ho ottenuto in entrambi questi strumenti, ho notato che Google ha scoperto più pagine di Bing.

D'altra parte (supponendo che questi risultati siano coerenti in entrambi i campioni di siti Web testati), sappiamo già che le pagine scoperte da Google e Bing hanno maggiori probabilità di essere indicizzate da Bing.

Tieni presente che questi risultati sono solo per un piccolo campione di siti e potrebbero non rappresentare l'intero Web.

Copertura dell'indice di un campione di siti popolari

Il terzo aspetto della mia ricerca è stato controllare lo stato di indicizzazione di alcuni siti Web popolari utilizzando ZipTie per vedere come varia tra Bing e Google.

Ho appreso che Bing è molto più desideroso di indicizzare questi siti rispetto a Google. Ciò ha confermato i miei precedenti risultati per il campione di siti Web WordPress che utilizzano YoastSEO.

Dai un'occhiata ai dati che ho ottenuto:

Indicizzazione Bing e Google: osservazioni iniziali

Possiamo dire che Bing è un motore di ricerca migliore basato sui dati?

Sebbene Bing indicizzi più contenuti, non possiamo indicare un singolo vincitore solo guardando le statistiche di indicizzazione. Non sappiamo perché Bing stia indicizzando più di Google.

La mia ipotesi è che Google potrebbe essere "più esigente" di Bing. Non è un mistero che la selezione dell'indice sia una cosa.

Lo diciamo da anni: farsi indicizzare da Google sta diventando sempre più difficile.

Sappiamo anche che i motori di ricerca scansionano le pagine a velocità diverse.

Ecco cosa ha detto John Mueller sulla frequenza con cui Googlebot esegue la scansione delle pagine:

Penso che la parte difficile qui sia che non eseguiamo sempre la scansione degli URL con la stessa frequenza. Quindi eseguiremo la scansione di alcuni URL ogni giorno. Alcuni URL potrebbero essere settimanali. Altri URL ogni due mesi, forse anche ogni sei mesi circa. Quindi questo è qualcosa per cui cerchiamo di trovare il giusto equilibrio, in modo da non sovraccaricare il tuo server. […] Quindi, in particolare, se fai cose come le query sul sito, c'è la possibilità che vedrai quegli URL che vengono scansionati come una volta ogni sei mesi. Saranno ancora lì dopo un paio di mesi. […] se pensi che questi URL non dovrebbero essere indicizzati affatto, allora forse puoi fare un backup e dire, beh, ecco un file della mappa del sito con l'ultima data di modifica in modo che Google si spenga e provi a raddoppiare- controllali un po' più velocemente che altrimenti.

fonte: John Mueller

Ho anche trovato alcune idee interessanti nella documentazione di Bing:

Per misurare quanto sia intelligente il nostro crawler, misuriamo l'efficienza della scansione di bingbot. L'efficienza della scansione è la frequenza con cui eseguiamo la scansione e scopriamo nuovi e nuovi contenuti per pagina scansionata. La nostra stella polare dell'efficienza della scansione è eseguire la scansione di un URL solo quando il contenuto è stato aggiunto (URL non scansionato in precedenza), aggiornato (contesto della pagina nuovo o utili collegamenti in uscita). Più eseguiamo la scansione di contenuti duplicati e non modificati, più bassa è la nostra metrica Efficienza di scansione.

fonte: Serie Bingbot: Massimizzare l'efficienza della scansione”

Bing potrebbe non voler andare in profondità durante la scansione di siti Web poiché ciò potrebbe fornire scarso valore e causare la caduta dei loro KPI.

Sappiamo che Bing ha lavorato per rendere più efficiente la scansione. Ad esempio, Bing ha tentato di ottimizzare la scansione di contenuti statici e di identificare schemi che avrebbero ridotto la frequenza di scansione su molti siti web.

Inoltre, considera le differenze nel modo in cui Google e Bing hanno indicizzato i siti Web WordPress casuali: erano molto più piccoli. Nel caso di siti Web molto popolari, sono molto più significativi.

Questo mi porta a pensare che, in linea con il fatto che Bing ammette apertamente di utilizzare i dati sul comportamento degli utenti nei propri algoritmi, Bing dia la priorità all'indicizzazione dei siti Web popolari, mentre per Google la popolarità è un fattore meno importante.

Presentazione di IndexNow

Di recente, Bing ha fatto un ulteriore passo avanti adottando il protocollo IndexNow. Puoi utilizzare IndexNow per informare Bing e Yandex sui contenuti nuovi o aggiornati.

Attraverso i nostri test, abbiamo scoperto che Bing in genere inizia a eseguire la scansione di una pagina tra 5 secondi e 5 minuti da quando viene inviata utilizzando IndexNow.

IndexNow è un'iniziativa per un Internet più efficiente: comunicando ai motori di ricerca se un URL è stato modificato, i proprietari di siti Web forniscono un chiaro segnale aiutando i motori di ricerca a dare priorità alla scansione di questi URL, limitando così la necessità di una scansione esplorativa per verificare se il contenuto è cambiato […].

Continueremo a imparare e migliorare su [una] scala più ampia e ad adeguare i tassi di scansione per i siti che implementano IndexNow. Il nostro obiettivo è offrire a ciascun utente il massimo vantaggio in termini di indicizzazione, gestione del crawl load e aggiornamento del contenuto per i ricercatori.

fonte: Bing Blog, "IndexNow - Indicizza istantaneamente i tuoi contenuti web nei motori di ricerca"

IndexNow consente ai siti Web di ottenere l'indicizzazione dei contenuti più rapidamente e di utilizzare meno risorse per la scansione. Di conseguenza, le aziende possono creare un'esperienza migliore per i propri clienti fornendo loro l'accesso alle informazioni più rilevanti.

Abbiamo creato uno strumento che ti aiuterà a inviare URL o mappe del sito a IndexNow in modo ancora più semplice e veloce.

Fondamentalmente, IndexNow è un'opportunità per i motori di ricerca più piccoli come Bing e Yandex di aggiungere ai propri indici da un ampio database di contenuti. IndexNow affronta il problema che i motori di ricerca, incluso Google, devono affrontare oggi: la scansione e il rendering di quantità crescenti di contenuti.

Il tempo dirà se Google adotta il protocollo IndexNow o crea una soluzione alternativa che consentirà ai proprietari dei siti di inviare le pagine per l'indicizzazione.

Ottimizzazione del modo in cui le pagine vengono scansionate e indicizzate

Un altro aspetto della mia analisi dell'indicizzazione è quanto sia importante semplificare la scansione e l'indicizzazione per i motori di ricerca.

In primo luogo, devi creare e gestire sitemap che includano i tuoi preziosi URL. Le mappe del sito sono utili per Bing e Google per scoprire i contenuti che dovrebbero indicizzare.

I motori di ricerca faranno fatica a individuare quali pagine sono rilevanti e dovrebbero essere indicizzate se non riesci a inviare una mappa del sito ottimizzata. Per maggiori dettagli sulla configurazione di una mappa del sito e sulle pagine da includere, leggi la nostra Guida definitiva alle mappe del sito XML.

Inoltre, è necessario disporre di un file robots.txt contenente le direttive corrette per i bot e tag "noindex" implementati correttamente sulle pagine che non devono essere indicizzate.

Avvolgendo

Per definire un modello chiaro nell'indicizzazione di Bing e Google, dovrei ispezionare molti più siti Web, ma ci sono alcune idee che possiamo ottenere dai miei campioni di dati:

• Bing indicizza più contenuti di Google.
• Google scopre più contenuti di Bing, suggerendo che Google è più esigente con l'indicizzazione. Il principio guida per Bing è eseguire meno la scansione e concentrarsi sul contenuto che è stato aggiunto o aggiornato.
• Bing dà la priorità all'indicizzazione dei siti Web popolari, mentre la popolarità è un fattore meno importante per Google.

Possiamo anche vedere che la qualità dei contenuti e l'ottimizzazione della scansione e dell'indicizzazione del tuo sito sono aspetti vitali della SEO e non possono essere sottovalutati o trascurati. Inoltre, questi fattori probabilmente continueranno a essere cruciali man mano che il web cresce e gli algoritmi dei motori di ricerca diventano più sofisticati.