O que são soft 404s em SEO?

Soft 404 não é um código de status HTTP oficial, mas um algoritmo avançado que ajuda o Google a detectar se uma página não existe (ou tem pouco ou nenhum conteúdo) , mesmo que o código de status HTTP não o indique.  

No entanto, o algoritmo não é perfeito e o Google pode cometer um erro ao classificar uma página.

Não importa o motivo dos soft 404s, eles impactam negativamente seu site e diminuem sua visibilidade na busca orgânica.

Neste artigo, você aprenderá como soft 404s afetam seu site, o que pode causá-los e o que você pode fazer para corrigi-los.

O que é um 404 macio?

Os servidores se comunicam com os clientes (por exemplo, navegadores ou bots de mecanismos de pesquisa) por meio de códigos de status HTTP.

Se a solicitação de uma página for bem-sucedida, o servidor retornará um código de status HTTP 200. Se a página estiver ausente, o servidor responderá com um status 404 (Não encontrado).

Quando os usuários solicitam uma página que não existe, eles veem uma mensagem no navegador indicando que algo deu errado. No entanto, a mensagem que o navegador exibe nem sempre corresponde ao código de status HTTP.

É aí que entra o soft 404.

Soft 404 é um rótulo que o Google dá a uma página quando parece que a página não existe e, ao mesmo tempo, retorna um código de status HTTP 200 bem-sucedido.

Se o Google decidir que uma página é um soft 404, ele desacelera o rastreamento.

Se virmos [uma página] como um soft 404, seria como um 404, e diminuiríamos o rastreamento desse URL específico porque não há nada aqui - por que temos que rastreá-lo todos os dias?

fonte: John Mueller

A detecção de soft 404s é essencial do ponto de vista do mecanismo de pesquisa por dois motivos:

1. O Google tem recursos limitados. A web é infinitamente grande e é simplesmente impossível rastrear todas as páginas. É por isso que o Google precisa priorizar e escolher quais páginas valem a pena rastrear. Deixar de fora os soft 404s permite que ele se concentre em páginas mais valiosas, aumentando assim sua eficiência de rastreamento.
2. O Google quer apresentar páginas de qualidade para seus usuários. Se o Google suspeitar que uma página não existe, é óbvio que ninguém quer encontrá-la e ela não deve aparecer na página de resultados de pesquisa.

Como os Soft 404s afetam seu site

As consequências para o seu site podem variar dependendo do tipo de páginas que o Google classificou como soft 404s.

Se o Google estava correto e a página realmente não existe, a principal consequência é desperdiçar seu orçamento de rastreamento .

Seu orçamento de rastreamento indica o número de páginas que o Google pode e deseja rastrear em seu site. Se você tiver, por exemplo, 100.000 páginas e seu orçamento de rastreamento permitir o rastreamento de 50.000, é essencial garantir que o orçamento seja gasto em páginas valiosas. Se o Google desperdiçar seu orçamento de rastreamento no rastreamento de soft 404s, pode não haver o suficiente para as páginas que mais importam para você e trazem tráfego.

O outro lado da moeda é quando o Google comete um erro ao atribuir o status e acha que uma página valiosa é um soft 404. Nesse caso, a página não será indexada e não trará tráfego orgânico.

Como você pode detectar 404s suaves?

Você pode verificar quais páginas o Google relata como soft 404s no Google Search Console no relatório Cobertura do índice.

Acesse o relatório clicando na opção “Cobertura” na barra lateral.

Se o Google achar que uma página é um soft 404, ele pode atribuir a ela um destes dois status:

• Soft 404 (categoria excluída), ou
• O URL enviado parece ser um Soft 404 (categoria de erro).

A única diferença entre esses status é a maneira como o Google descobriu o URL.

No caso do status “A URL enviada parece ser um Soft 404”, o Google o encontrou dentro do seu mapa do site (arquivo de texto criado pelos proprietários do site que deve listar apenas as páginas que você deseja indexar). Enquanto isso, no caso do status “Soft 404”, o Google encontrou esse URL por conta própria.

Você pode ver uma lista de URLs individuais relatando soft 404s clicando em um desses status. Esses dados estão disponíveis para exportação, mas há um limite de 1.000 URLs. Se você quiser exportar mais e ter mais de um sitemap, poderá fazer download de URLs para cada sitemap separadamente.

O relatório Cobertura do índice não é o único lugar onde você pode ver o status de um URL.

Na ferramenta de inspeção de URL no Google Search Console, você pode verificar novamente URLs individuais. Se quiser inspecionar mais de um URL, você pode usar a API de inspeção de URL e verificar até 2.000 URLs de uma vez.

Se você vir uma diferença entre os status no relatório de cobertura de índice e na ferramenta de inspeção de URL, pode ser apenas um atraso no relatório de cobertura de índice. Nesse caso, confie na ferramenta de inspeção de URL, pois ela mostra dados mais recentes.

Isso ocorre porque os dados do relatório Cobertura do índice são atualizados a uma taxa diferente (e mais lenta) da inspeção de URL. Os resultados mostrados na inspeção de URL são mais recentes e devem ser considerados confiáveis ​​quando estiverem em conflito com o relatório de cobertura do índice. (2/4)

— Central de Pesquisa do Google (@googlesearchc) 11 de outubro de 2021

Detecção soft 404 em dispositivos móveis vs. computadores

Em 2021, o Google atualizou como detecta soft 404s em telefones celulares e dispositivos de desktop.

Descobriu-se que o status pode ser atribuído de maneira diferente às versões para celular e desktop. No entanto, como o Google Search Console relata os status com base na versão móvel, ele não mostrará se apenas a versão para computador estiver rotulada como soft 404.

Essencialmente, o que acontece é que às vezes vemos páginas que nos desktops parecem uma página 404, então dizemos que é um soft 404 no desktop, não precisamos indexá-lo. E no celular, parece uma página normal, então vamos indexá-la lá.

[…] no Search Console, mostramos soft 404s, mas mostramos para a versão móvel. Portanto , se na versão móvel tudo estiver bem do seu lado, no Search Console, parecerá indexado normalmente […], enquanto para o desktop, se o virmos como um soft 404 lá, você não poderá veja isso diretamente no Search Console.

fonte: John Mueller

O que pode causar um soft 404 e como corrigi-lo

Existem algumas razões diferentes pelas quais o Google pode classificar uma página como um soft 404, incluindo:

• página 404 respondendo com um código de status HTTP 200,
• Redirecionamentos irrelevantes,
• Páginas com pouco ou nenhum conteúdo,
• Páginas contendo palavras semelhantes a 404,
• Problemas de renderização.

404 página respondendo com um código de status HTTP 200

Se uma página for, de fato, uma página 404, mas retornar um código de status HTTP 200, o Google a classificará como um soft 404.

Isso é algo a ser especialmente lembrado se você tiver uma página 404 personalizada.  

Uma página 404 personalizada pode ser útil para seus usuários e permitir que eles explorem o site mesmo que a página que eles estavam tentando acessar não exista. No entanto, não é incomum que essas páginas retornem um código de status HTTP 200.

Você deve evitar essa situação porque o Google continua a rastrear essas páginas, o que desperdiça seu orçamento de rastreamento.

A solução para esse problema é configurar seu servidor para retornar o código de status correto para páginas que não existem (404 Not Found).  

Redirecionamentos irrelevantes

Redirecionar para uma página irrelevante é uma prática ruim que pode confundir os usuários. É por isso que, se o Google detectar que um redirecionamento está apontando para uma página não relacionada, o mecanismo de pesquisa pode não segui-lo e tratar a página como um soft 404.

Sim, não é uma ótima prática (confunde os usuários), e nós os tratamos principalmente como 404s de qualquer maneira (eles são soft-404s), então não há vantagem. Não é criticamente quebrado/ruim, mas complexidade adicional sem um bom motivo – faça uma página 404 melhor em vez disso.

— John (@JohnMu) 8 de janeiro de 2019

Para resolver o problema, sempre redirecione para as páginas relevantes.  

Olhe para o conteúdo da perspectiva dos usuários. Por exemplo, se um usuário estivesse procurando por algo específico, faria sentido que ele acabasse na página para a qual você está redirecionando? É tematicamente relevante? Caso contrário, talvez haja uma página melhor que possa responder à intenção deles, ou talvez você deva configurar uma página 404 em vez de um redirecionamento.

Páginas com pouco ou nenhum conteúdo

Pouco ou nenhum conteúdo em uma página pode fazer o Google pensar que a página está vazia e classificá-la como um soft 404.

Um exemplo pode ser um site de comércio eletrônico com produtos entrando e saindo de estoque com frequência, levando a categorias de produtos vazias.

A solução para este problema não é tão simples como nos dois casos anteriores.

Uma maneira de lidar com esse problema é bloquear a indexação de páginas vazias. Afinal, se for uma página vazia, não é útil para seus usuários e não deve ser indexada. Você pode fazer isso adicionando uma meta tag noindex (uma tag HTML informando aos mecanismos de pesquisa que você não deseja que esta página seja indexada).

Além disso, vale a pena repensar a estrutura de todo o seu site.

Você tem muitas categorias de produtos que têm, por exemplo, apenas um produto? Se for esse o caso, você deve reconsiderar se essas categorias são necessárias em seu site. Páginas como essa podem ser consideradas conteúdo fino e podem afetar negativamente seu site de duas maneiras:

• Eles podem desperdiçar seu orçamento de rastreamento e
• Se você tiver muitas páginas indexáveis ​​de baixa qualidade, o Google pode pensar que todo o seu site não tem qualidade e decidir parar de rastreá-lo com tanta frequência.

Se você quiser saber mais sobre quais páginas devem e não devem ser indexadas, leia nosso artigo sobre como criar uma estratégia de indexação para seu site.

Páginas que contêm palavras semelhantes a 404

Às vezes, os algoritmos do Google identificam incorretamente uma página se ela contiver palavras que geralmente aparecem em uma página 404. Isso pode acontecer, por exemplo, em sites de comércio eletrônico quando uma página de produto usa termos como "esgotado", "produto indisponível" ou "não entregamos em seu local".

Todas as páginas da categoria tinham "Desculpe, não entregamos neste local". Isso foi mostrado aos clientes que inseriram um código PIN para o qual não entregamos, mas fazia parte da página por padrão. Removido este texto da página e que corrigiu o soft 404! #seo @JohnMu @methode @rustybrick https://t.co/j3UEsXXb3U

— Nikhil Raj. R (@nikhilrajr) 30 de dezembro de 2021

O autor da postagem acima corrigiu o problema simplesmente excluindo as palavras indicando que a entrega não está disponível.

Problema de renderização

A renderização é uma etapa necessária para que o Google veja seu conteúdo. Se o mecanismo de pesquisa não conseguir vê-lo, ele pode pensar que a página está vazia e classificá-la como um soft 404.

Uma das causas dos problemas de renderização é o bloqueio de recursos como CSS ou JavaScript no robots.txt. Robots.txt é um arquivo que permite especificar quais páginas os bots de mecanismos de pesquisa podem rastrear e quais não podem. Se o Google não puder acessar os recursos necessários para renderização, não poderá ver o conteúdo.

Para descobrir se o Google renderiza seu conteúdo corretamente, use a ferramenta de inspeção de URL no Google Search Console. Você pode inspecionar URLs individuais e ver como o Google vê suas páginas. Se o conteúdo estiver ausente, isso indica um problema de renderização.

Para corrigir o problema, verifique se o Google tem acesso aos recursos necessários para renderização. Revise seu arquivo robots.txt e verifique se o rastreamento de CSS e JavaScript é permitido.

Se você quiser saber mais sobre como a renderização funciona, confira nosso manifesto Rendering SEO – porque JavaScript SEO não é suficiente.

Empacotando

O monitoramento de soft 404s é importante para garantir que eles não prejudiquem seu site desperdiçando seu orçamento de rastreamento ou deixando páginas valiosas fora do índice.

Aqui estão as principais conclusões do artigo para ajudá-lo a evitar soft 404s:

• Se uma página não existir, verifique se ela retorna um código de status HTTP 404,
• Ao criar um redirecionamento, sempre verifique se você está redirecionando para conteúdo relevante,
• Não bloqueie recursos essenciais para renderização como arquivos CSS ou JavaScript em seu robots.txt,
• Se você tiver páginas vazias, adicione a metatag noindex ou remova essas páginas do seu site,
• Esteja atento ao usar frases do tipo 404. Se você notar que sua página, com, por exemplo, produto fora de estoque, está marcada como soft 404, tente remover as palavras ou usar termos diferentes.