Principais insights de “Os limites dos mecanismos de pesquisa e como podemos superá-los”

Em 30 de novembro de 2021, Bartosz Goralewicz e Tomasz Rudzki sentaram-se com Fabrice Canel , o gerente de programa principal do Bing, para discutir os desafios que os mecanismos de pesquisa enfrentam agora – como continuar rastreando e indexando a web que está cada vez mais pesada e maior ?

Se você quiser saber como foi toda a conversa, assista ao webinar aqui.

Neste artigo, quero apresentar os insights e anúncios mais interessantes do webinar.

IndexNow ajuda a otimizar o orçamento de rastreamento

A conversa começou com um tópico popular na indústria de SEO agora – qual problema o IndexNow está tentando resolver?

Os motores de busca têm muito pouca idéia do que está acontecendo na internet. Portanto, eles precisam continuar rastreando as páginas para descobrir se há algum conteúdo atualizado ou novo. Como resultado, eles podem desperdiçar o orçamento de rastreamento em páginas de baixa qualidade ou páginas que não foram atualizadas.

Acreditamos que é bom para a indústria mudar esse modelo. Isso ajudará você a obter o conteúdo mais recente indexado nos mecanismos de pesquisa e poderá nos ajudar a minimizar o rastreamento, o que é bom para todo o setor.

fonte: Fabrice Canel

Os motores de busca não sabem quando você vai postar seu próximo artigo no blog – mas você sabe! Notificá-los sobre novos conteúdos em seu site traz benefícios mútuos – seu conteúdo pode aparecer mais rapidamente na SERP e os mecanismos de pesquisa podem reduzir a quantidade de recursos necessários para rastrear e indexar um site.

A solução para pingar os motores de busca não é uma ideia nova. Alguns anos atrás, os webmasters podiam enviar URLs para os mecanismos de pesquisa. O problema era que era fácil apenas enviar spam para os mecanismos de pesquisa com envios desnecessários, por isso precisava de melhorias.

Comparado com a solução antiga com um simples ping enviado aos mecanismos de pesquisa, o IndexNow adiciona uma camada de confiança. Você precisa gerar uma chave de API e hospedá-la em seu site. Dessa forma, os mecanismos de pesquisa podem verificar se a URL enviada pertence a você, minimizando o ruído nos dados resultantes.

Sitemaps não são suficientes

Se você está se perguntando por que os sitemaps bem otimizados não são suficientes para oferecer suporte ao rastreamento e por que ainda precisamos do IndexNow, a resposta é: os sitemaps não são suficientes!

Em geral, o Bing tentará baixar sitemaps mais ou menos uma vez por dia. […] Mas a internet é mais de uma vez por dia. Você não quer esperar um dia quando você tem um comunicado de imprensa chegando. Talvez você precise notificar os motores de busca imediatamente.

fonte: Fabrice Canel

Assim, o IndexNow ajuda você a enviar seu conteúdo para os mecanismos de pesquisa quando é urgente. Isso é especialmente importante para sites de notícias, mas é particularmente importante para qualquer site indexar o novo conteúdo o mais rápido possível.

Além disso, os sitemaps são ótimos para listar os URLs, mas não tanto para atualizar o conteúdo. A tag lastmod é frequentemente abusada e configurada incorretamente.

IndexNow é menos barulhento do que sitemaps. Fabrice afirmou que os dados provenientes do IndexNow são muito promissores e provaram guiar os bots para conteúdo de alta qualidade e minimizar o rastreamento.

Uma das coisas a serem lembradas é que , se você enviar sua URL mesmo que ela não tenha sido alterada, o Bing pode perder a confiança e parar de rastrear a página depois que você usar o IndexNow.

Tudo isso não significa que você deve parar de usar sitemaps XML. Fabrice apontou que os sitemaps funcionam particularmente bem quando combinados com o IndexNow – não é como se você devesse usar um ou outro.

Cloudflare agora oferece suporte ao IndexNow

Durante o webinar, Fabrice anunciou que a Cloudflare agora oferece suporte ao IndexNow.

A Cloudflare tem um recurso chamado Crawler Hints, que fornece dados para os mecanismos de pesquisa sobre alterações em seu conteúdo. E agora, as dicas de rastreador suportam o IndexNow e podem notificar diretamente os mecanismos de pesquisa sobre qualquer conteúdo novo, atualizado ou excluído por meio desse novo protocolo.

Mais de 60.000 sites já ajustaram a capacidade do Cloudflare de oferecer suporte ao IndexNow. Significa bilhões de URLs por dia que estão chegando para nos dizer o que mudou na internet. […] Traz benefícios para o Bing e outros motores de busca, bem como para os proprietários de sites.

fonte: Fabrice Canel

Tudo o que você precisa fazer é habilitar as dicas de rastreador em seu site com um simples clique, e a Cloudflare cuidará do resto! Você pode encontrar mais informações sobre como ativar as dicas do rastreador aqui.

IndexNow não dá um impulso de classificação

Bartosz perguntou a Fabrice sobre o fato de que muitos domínios que começaram a usar o IndexNow parecem obter tráfego impulsionado do Bing agora. Mas não, o IndexNow não oferece nenhum aumento de classificação.

Não estamos priorizando com base no IndexNow. Não é um sinal de classificação. Ativar o IndexNow não o ajudará a ter uma classificação mais alta.

fonte: Fabrice Canel

No entanto, com a quantidade de conteúdo da Internet que está sendo criada continuamente, quanto mais cedo você for indexado, mais chances terá de aparecer mais alto nas SERPs.

É especialmente importante para sites com seções de notícias. É crucial ser indexado o mais rápido possível. Se os mecanismos de pesquisa atrasarem o rastreamento e a indexação do seu conteúdo, você poderá ficar para trás da concorrência.

É por isso que os sites que usam o IndexNow podem se sair melhor em SERPs. Os webmasters sabem melhor quando seu conteúdo mudou e podem notificar os mecanismos de pesquisa para rastrear e indexar a página rapidamente.

IndexNow libera recursos necessários para renderização

Como Fabrice mencionou no webinar, a renderização é vital para que os mecanismos de pesquisa entendam o conteúdo. É por isso que o Bing se esforça para renderizar o máximo de conteúdo possível.

Ao adotar o IndexNow, você pode ajudar os mecanismos de pesquisa a liberar os recursos para rastrear conteúdo adicional, como JavaScript, necessário para renderizar a página.

Além disso, a renderização do site depende de seu tamanho. Os mecanismos de pesquisa podem se sair bem com a renderização se você tiver apenas algumas páginas. Ainda assim, se você é um grande site de comércio eletrônico com milhões de páginas cheias de conteúdo rico em JavaScript, seus recursos podem não ser suficientes para renderizar tudo. Nesse caso, é crucial notificar os bots dos mecanismos de pesquisa sobre o que eles devem rastrear e ajudá-los a economizar o orçamento de rastreamento.

Em alguns anos, queremos ser capazes de renderizar todos os conteúdos da internet. No entanto, seja razoável ao criar seus sites – se os clientes precisarem clicar em algo em uma página para acessar algum conteúdo, os mecanismos de pesquisa precisarão fazer o mesmo, mas ainda não são mais inteligentes que os clientes. Certifique-se de que todo o conteúdo de uma página seja exibido imediatamente e não o esconda.

fonte: Fabrice Canel

Futuro da colaboração dos motores de busca

No passado, os mecanismos de pesquisa colaboravam em iniciativas essenciais como o schema.org ou o protocolo robots.txt.

Durante o webinar, Fabrice foi questionado sobre possíveis áreas onde tal cooperação pode ocorrer em um futuro próximo. Ele apontou a questão das tags hreflang e como elas são responsáveis ​​por gerar trilhões de URLs redundantes que geram desperdício para os mecanismos de busca e para a internet em geral.

Fabrice disse que é seu desejo trabalhar com outros mecanismos de busca para encontrar novas maneiras de atingir mercados internacionais que também permitam que os mecanismos de busca consolidem sinais em uma única página para um idioma. Isso teria que envolver uma solução para os proprietários de sites direcionarem os usuários do mesmo idioma para conteúdos direcionados a mercados específicos (por exemplo, falantes de espanhol na Argentina e no Uruguai chegariam na mesma página e depois seriam direcionados para conteúdos específicos da Argentina e Uruguai) .

Fabrice resumiu que não deveria haver necessidade de otimizar seu site para mecanismos de busca específicos no futuro. Em vez disso, os mecanismos de pesquisa devem seguir protocolos comuns e criar soluções para melhorar as limitações atuais e beneficiar o setor.