Os mecanismos de pesquisa não podem descobrir e indexar todas as páginas da Web – eles precisam fazer escolhas a esse respeito. E, embora todos os mecanismos de pesquisa tenham o mesmo propósito, eles usam critérios diferentes para quais páginas indexar.

Dito isto, geralmente é bom que um mecanismo de pesquisa possa rastrear e indexar o máximo de conteúdo valioso possível – aumenta as chances de mostrar aos usuários o que eles estão procurando.

Eu estava curioso sobre qual mecanismo de busca – Bing ou Google – indexa mais conteúdo em geral.

Este artigo descreve os diferentes aspectos da minha pesquisa e, embora eu precisasse de mais dados para tirar conclusões definitivas, ainda consegui reunir muitos insights únicos e valiosos.

Aqui está o que descobri sobre como o Bing e o Google indexam páginas da web.

Analisando dados de indexação: metodologia e resultados

Cobertura de índice de uma amostra aleatória de sites WordPress

O primeiro passo da minha pesquisa foi coletar uma amostra de páginas para verificar suas estatísticas de indexação.

Decidi que um bom ponto de partida seria usar uma amostra de sites usando o plugin Yoast SEO WordPress. Havia uma razão prática por trás da escolha deste plugin: ele divide os mapas do site por seções, o que me permite analisar quais seções são mais indexadas.

Encontrei uma lista de sites que usam o plug-in Yoast SEO em builtwith.com , um site que informa sobre sites usando determinadas tecnologias ou ferramentas. Eu escolhi uma amostra aleatória de 200 sites de uma lista de sites usando Yoast SEO.

Então, verifiquei as estatísticas de indexação desses sites usando ZipTie.dev e os dados que saíram são muito interessantes.

O Bing indexou mais páginas da web do que o Google.

Dê uma olhada nos gráficos abaixo que mostram as estatísticas de indexação para determinadas categorias de sitemaps:

A cobertura do índice é a mesma para Bing e Google para as categorias de notícias e imprensa. Além disso, o Google indexou mais conteúdo em guias e locais. No entanto, em todas as categorias restantes do sitemap, a indexação do Bing excede a do Google – incluindo categorias importantes, como postagens, produtos e imagens.

Mas isso significa que o Bing também é capaz de rastrear mais páginas do que o Google? Ou eles rastreiam quantidades semelhantes de conteúdo, mas têm preferências diferentes quando se trata de indexação?

Rastreamento de dados para uma amostra de nossos clientes

Para estender minhas descobertas, verifiquei os dados de alguns de nossos clientes nas Ferramentas do Bing para webmasters e no Google Search Console.  

Essas ferramentas mostram as páginas que o respectivo mecanismo de pesquisa conhece para um determinado domínio.

No Google Search Console, verifiquei todas as páginas conhecidas que aparecem no relatório Cobertura do índice e verifiquei o número de URLs para todos os quatro status (Erros, Válido, Válido com avisos e Excluído).

No Bing Webmaster Tools, na seção Site Explorer, que contém dados de indexação para as páginas em um determinado domínio, filtrei a visualização para exibir Todos os URLs.

Isso me mostrou todos os URLs descobertos para cada domínio que analisei.

Depois de comparar os dados que obtive nessas duas ferramentas, notei que o Google descobriu mais páginas do que o Bing.

Por outro lado (supondo que essas descobertas sejam consistentes em ambas as amostras de sites testadas), já sabemos que as páginas descobertas pelo Google e pelo Bing têm maior probabilidade de serem indexadas pelo Bing.

Lembre-se de que esses resultados são apenas para uma pequena amostra de sites e podem não representar toda a web.

Cobertura de índice de uma amostra de sites populares

O terceiro aspecto da minha pesquisa foi verificar o status de indexação de alguns sites populares usando o ZipTie para ver como ele varia entre o Bing e o Google.

Aprendi que o Bing está muito mais ansioso para indexar esses sites do que o Google. Isso confirmou minhas descobertas anteriores para a amostra de sites WordPress usando YoastSEO.

Veja os dados que obtive:

Indexação Bing vs. Google – observações iniciais

Podemos dizer que o Bing é um mecanismo de pesquisa melhor com base nos dados?

Embora o Bing indexe mais conteúdo, não podemos apontar um único vencedor apenas observando as estatísticas de indexação. Não sabemos por que o Bing está indexando mais do que o Google.

Minha hipótese é que o Google pode ser “mais seletivo” que o Bing. Não é nenhum mistério que a seleção de índice é uma coisa.

Temos dito isso há anos – ser indexado pelo Google está se tornando cada vez mais difícil.

Também sabemos que os mecanismos de pesquisa rastreiam as páginas em taxas diferentes.

Veja o que John Mueller disse sobre a frequência com que o Googlebot rastreia as páginas:

Acho que a parte difícil aqui é que não rastreamos URLs com a mesma frequência o tempo todo. Portanto, alguns URLs serão rastreados diariamente. Alguns URLs talvez semanalmente. Outros URLs a cada dois meses, talvez até a cada meio ano ou mais. Então, isso é algo para o qual tentamos encontrar o equilíbrio certo, para não sobrecarregar seu servidor. […] Então, em particular, se você fizer coisas como consultas a sites, há uma chance de você ver esses URLs que são rastreados uma vez a cada semestre. Eles ainda estarão lá depois de alguns meses. […] se você acha que esses URLs realmente não deveriam ser indexados, então talvez você possa fazer backup e dizer, bem, aqui está um arquivo de mapa do site com a última data de modificação para que o Google acione e tente duplicar verifique estes um pouco mais rápido do que o contrário.

fonte: John Mueller

Também encontrei algumas ideias interessantes na documentação do Bing:

Para medir a inteligência do nosso rastreador, medimos a eficiência do rastreamento do bingbot. A eficiência do rastreamento é a frequência com que rastreamos e descobrimos conteúdo novo e atualizado por página rastreada. Nossa estrela norte da eficiência de rastreamento é rastrear um URL somente quando o conteúdo foi adicionado (URL não rastreado antes), atualizado (contexto novo na página ou links de saída úteis). Quanto mais rastrearmos conteúdo duplicado e inalterado, menor será nossa métrica de eficiência de rastreamento.

fonte: Série Bingbot: Maximizando a Eficiência de Rastreamento”

O Bing pode não querer se aprofundar no rastreamento de sites, pois isso pode fornecer pouco valor e fazer com que seus KPIs caiam.

Sabemos que o Bing vem trabalhando para tornar o rastreamento mais eficiente. Por exemplo, o Bing tentou otimizar o rastreamento de conteúdo estático e identificar padrões que reduziriam a frequência de rastreamento em muitos sites.

Além disso, considere as diferenças em como o Google e o Bing indexaram os sites aleatórios do WordPress – eles eram muito menores. No caso de sites muito populares, eles são muito mais significativos.

Isso me leva a pensar que, de acordo com o fato de o Bing admitir abertamente que usa dados de comportamento do usuário em seus algoritmos, o Bing prioriza fortemente a indexação de sites populares, enquanto para o Google, a popularidade é um fator menos importante.

Apresentando o IndexNow

Recentemente, o Bing deu um passo adiante ao adotar o protocolo IndexNow. Você pode usar o IndexNow para informar o Bing e o Yandex sobre conteúdo novo ou atualizado.

Por meio de nossos testes, descobrimos que o Bing normalmente começa a rastrear uma página entre 5 segundos e 5 minutos a partir do momento em que ela é enviada usando o IndexNow.

O IndexNow é uma iniciativa para uma Internet mais eficiente: ao informar aos mecanismos de pesquisa se um URL foi alterado, os proprietários de sites fornecem um sinal claro, ajudando os mecanismos de pesquisa a priorizar o rastreamento desses URLs, limitando assim a necessidade de rastreamento exploratório para testar se o conteúdo foi mudado […].

Continuaremos a aprender e melhorar em [uma] escala maior e ajustar as taxas de rastreamento para sites que implementam o IndexNow. Nosso objetivo é dar a cada adotante o máximo benefício em termos de indexação, gerenciamento de carga de rastreamento e atualização do conteúdo para os pesquisadores.

fonte: Bing Blog, “IndexNow - Indexe instantaneamente seu conteúdo da web em mecanismos de busca”

O IndexNow permite que os sites indexem seu conteúdo mais rapidamente e usem menos recursos para rastreamento. Como resultado, as empresas podem criar uma experiência melhor para seus clientes, dando-lhes acesso às informações mais relevantes.

Criamos uma ferramenta que o ajudará a enviar URLs ou sitemaps para o IndexNow de forma ainda mais rápida e fácil.

Fundamentalmente, o IndexNow é uma oportunidade para mecanismos de pesquisa menores, como Bing e Yandex, adicionarem a seus índices a partir de um extenso banco de dados de conteúdo. O IndexNow aborda o problema com o qual os mecanismos de pesquisa, incluindo o Google, lutam hoje – ter que rastrear e renderizar quantidades crescentes de conteúdo.

O tempo dirá se o Google adota o protocolo IndexNow ou cria uma solução alternativa que permitirá que os proprietários de sites enviem páginas para indexação.

Otimizando como as páginas são rastreadas e indexadas

Outra conclusão da minha análise de indexação é a importância de simplificar o rastreamento e a indexação para mecanismos de pesquisa.

Primeiro, você precisa criar e manter sitemaps que incluam seus valiosos URLs. Os Sitemaps são úteis para o Bing e o Google descobrirem o conteúdo que devem indexar.

Os mecanismos de pesquisa terão dificuldade em escolher quais páginas são relevantes e devem ser indexadas se você não enviar um sitemap otimizado. Para obter mais detalhes sobre como configurar um mapa do site e quais páginas incluir, leia nosso Guia definitivo para mapas do site XML.

Além disso, você precisa ter um arquivo robots.txt contendo as diretivas corretas para bots e tags 'noindex' implementadas corretamente nas páginas que não devem ser indexadas.

Empacotando

Para definir um padrão claro na indexação do Bing e do Google, eu teria que inspecionar muitos outros sites, mas há certas ideias que podemos obter de minhas amostras de dados:

• O Bing indexa mais conteúdo do que o Google.
• O Google descobre mais conteúdo do que o Bing, sugerindo que o Google é mais exigente com a indexação. O princípio orientador do Bing é rastrear menos e focar no conteúdo que foi adicionado ou atualizado.
• O Bing prioriza a indexação de sites populares, enquanto a popularidade é um fator menos importante para o Google.

Também podemos ver que a qualidade do conteúdo e a otimização do rastreamento e indexação do seu site são aspectos vitais do SEO e não podem ser subestimados ou negligenciados. Além disso, esses fatores provavelmente continuarão sendo cruciais à medida que a web cresce e os algoritmos dos mecanismos de busca se tornam mais sofisticados.