Master A/B e Testes Multivariados (Guia Final)

Até agora, a maioria dos profissionais de marketing sabe que precisa integrar o teste A/B em seu processo de desenvolvimento de novas promoções e publicidade.

No entanto, saber que você deve usar testes A/B e saber como executar testes A/B são dois jogos diferentes.

O mundo dos testes A/B pode ser confuso, com muitas pessoas usando termos como 'teste A/B', 'teste A/B/n' ou 'teste multivariado' de forma intercambiável.

No entanto, todos esses são tipos diferentes de testes. Aqui está um resumo rápido:

Os testes 'A/B' e 'A/B/n' são muito semelhantes. Ambos estão testando uma mudança de variável específica para ver o impacto dessa mudança. Um teste A/B significa que você está executando duas versões da promoção – geralmente uma versão de controle e uma segunda versão com a alteração que deseja testar. Um teste A/B/n significa que você está executando várias versões da promoção - ainda testando uma variável específica, mas executando várias variações dessa alteração de variável. Por exemplo…

1. Teste A/B: você está testando o texto do seu botão CTA. Uma versão diz 'Inscreva-se!' a segunda versão diz 'Junte-se agora!'
2. Teste A/B/n: Você está testando a cor do seu botão CTA. Uma versão é vermelha, a segunda versão é azul, a terceira versão é verde e assim por diante.

Um teste multivariado é qualquer teste que mede o impacto de várias mudanças de variáveis ​​de uma só vez. A dica está no próprio nome: multi (muitos) variate (variáveis). Por exemplo…

1. Você está testando variações da cor E do texto do botão CTA ao mesmo tempo.

Neste artigo, abordaremos por que você deve executar testes A/B, quais tipos de testes você deve executar e quando executar seus testes A/B. Vamos pular!

Por que devo executar um teste A/B?

Para executar um teste A/B bem-sucedido, você deve ter o raciocínio e a intenção adequados por trás do teste.

Um motivo amplo para executar um teste é otimizar para conversões, mas você deve ter um raciocínio mais profundo e detalhado se quiser ter sucesso.

Vamos mergulhar nos motivos mais comuns para executar um teste A/B.

1. Minha promoção está com baixo desempenho

Esta é a principal razão pela qual a maioria dos profissionais de marketing inicia o processo de teste.

Uma promoção de baixo desempenho é uma preocupação real para sua receita e é algo que você pode medir.

Ao executar testes A/B, você pode ajustar os detalhes de sua promoção para melhorar sua eficácia de forma incremental. Isso permite que você forneça uma experiência melhor para seus clientes, além de melhorar seus resultados.

2. As diretrizes da minha marca foram alteradas

Isso acontece com mais frequência do que você imagina. Sempre que uma empresa passa por uma atualização de marca, normalmente as promoções exigirão designs e conteúdos completamente novos.

Embora o teste A/B seja uma ótima maneira de implementar essas mudanças rapidamente, ele também pode ajudar a orientar a atualização da marca.

Ao testar diferentes cores, palavreado e estilos de design com testes A/B, você pode ajudar a informar a direção geral da marca apresentando dados reais do usuário sobre o que seus clientes respondem melhor.

Nesse caso, você não testaria os novos designs em relação aos originais.

Com uma atualização de marca, você normalmente tem um guia geral para onde os designs e a voz da marca irão, mas ainda precisa descobrir os detalhes de coisas como fonte, paleta de cores etc. Você está começando do zero e seu os testes devem refletir seus aprendizados com o sucesso de sua promoção anterior.

Antes de você começar…

Antes de começar a configurar seus testes A/B, há algumas coisas a serem lembradas. Principalmente, algumas armadilhas para evitar…

Armadilha nº 1: Não verificar o desempenho da promoção em relação aos benchmarks do setor.

É claro que você deseja que suas promoções superem a 'média', mas se sua promoção já estiver superando as médias do setor em mais de 20%, talvez seja melhor testar outra coisa para atingir suas metas.

A boa notícia é que sua promoção está muito acima da concorrência. A má notícia é que você pode fazer mais mal do que bem executando testes A/B nesta promoção. Se a promoção já for o ideal do seu cliente, a introdução de variações pode fazer com que o desempenho caia.

Armadilha nº 2: Falha ao identificar um KPI mensurável.

Se você 'só quer que essa promoção seja melhor', é provável que você não tenha vinculado essa promoção a um KPI que afetará uma meta de negócios.

Para melhorar o desempenho de uma promoção, você precisa ficar de olho em quais KPIs serão afetados para poder avaliar com precisão uma mudança.

Se o KPI anexado aumentar o valor médio do pedido e você executar um teste e observar o aumento de engajamentos, mas um valor médio do pedido reduzido, o teste não deverá ser considerado um sucesso.

Os KPIs mais comuns associados a promoções são:

1. Taxa de conversão
2. Taxa de abandono do carrinho
3. Taxa de captura de e-mail
4. Valor médio do pedido

Você deve determinar qual KPI você está direcionando antes de iniciar qualquer teste para garantir que você possa acompanhar as alterações adequadamente.

O que o IA/B deve testar?

Agora que você tem uma melhor compreensão do básico, podemos nos aprofundar no aspecto mais importante e mais comumente incompreendido dos testes – como estruturar um teste A/B confiável.

Elementos de uma promoção

1. CTA – O Chamado à Ação
2. Tag Line – Copie para chamar a atenção do visitante
3. Cópia da Oferta – A cópia que descreve sua oferta
4. Valor da oferta – O valor tangível da oferta
5. Ativo de imagem – Imagem usada para representar uma oferta, marca etc.
6. Número de etapas – Quantas etapas são necessárias para um visitante concluir o engajamento

Acima estão os principais elementos de uma promoção e, portanto, suas principais variáveis ​​de teste.

A Cópia da Oferta e o Valor da Oferta são separados porque você pode alterar o valor específico da oferta sem realmente alterar a cópia circundante.

Aqui está um exemplo:

• 'Comece hoje a ganhar 10% de desconto na sua assinatura!'
• 'Comece hoje a ganhar 15% de desconto na sua assinatura!'

No exemplo acima, a 'cópia da oferta' é o texto em que o 'valor da oferta' é encapsulado. É importante ter em mente essa distinção à medida que você avança na criação de testes reais.

O valor da oferta quase sempre terá o peso mais significativo. Se você pensar sobre isso em termos práticos, verá o porquê.

Por exemplo, você prefere ter $ 5 de desconto em uma lavagem de carros premium ou em uma lavagem de carros premium GRATUITA?

Todas as outras coisas sendo iguais, mais pessoas estarão mais dispostas a receber a lavagem de carro gratuita do que apenas US $ 5 de desconto.

Como configurar um teste A/B

1. Identifique o KPI

A primeira etapa mais importante na configuração de qualquer teste para otimizar as conversões é identificar o KPI que você deseja afetar.

Isso pode reduzir o abandono de carrinho, aumentar as inscrições de e-mail, aumentar os engajamentos ou quaisquer KPIs específicos do site que você e sua equipe identificaram.

Depois de identificar seu KPI, pegue a lista de componentes acima e comece a formular hipóteses sobre quais desses elementos melhor o ajudarão a melhorar o KPI que você está direcionando.

Vamos esboçar isso para você com um exemplo para que você possa ver como isso é feito:

Neste exemplo, há muita coisa acontecendo e muito para descompactar, então vamos começar dividindo-o usando a lista acima.

1. Valor da oferta – Nesta promoção em particular, existem duas ofertas diferentes sendo lançadas – 20% de desconto e frete grátis.
2. Número de etapas - 1
3. CTA – Usar código.
4. Recurso de imagem - Nenhum
5. Tag line – Economia instantânea
6. Cópia da oferta – Retire (valor da oferta 1) os itens no seu carrinho agora + (valor da oferta 2)

Dividir visualmente cada parte da promoção lhe dará uma compreensão clara de todas as diferentes partes móveis e permitirá que você priorize seus testes.

Continuando com este exemplo, vamos usar o valor médio do pedido como nosso principal KPI. Este é um KPI claro e mensurável que certamente impactará os resultados da empresa.

2. Identificar e formular hipóteses

Em seguida, você precisa identificar os elementos que acredita que levarão ao maior impacto em seu KPI identificado. Para este exemplo, usaremos Cópia da Oferta e Valor da Oferta.

Para cada promoção, é importante anotar sua hipótese para que você possa acompanhar sua linha de pensamento.

Aqui está um exemplo de hipótese:

Acredito que alterar a Cópia da Oferta para incluir um valor mínimo do pedido e aumentar a visibilidade dos Valores da Oferta aumentará o Valor Médio do Pedido.

Como você pode ver, uma hipótese típica não é muito complexa, mas é muito específica sobre ações e resultados.

3. Crie uma variação

Agora que você formulou uma hipótese e identificou os elementos a serem testados, pode começar a criar variações com base nesses elementos.

Felizmente, com o Justuno, essa parte costuma ser bem simples. Confira a variação abaixo:

Ao configurar seus testes A/B, é melhor testar variações em apenas um elemento por vez. No exemplo acima, você notará que apenas a Cópia da Oferta foi alterada, enquanto o Valor da Oferta permanece o mesmo.

Em teoria, qualquer usuário que olhar para este pop-up deve imediatamente entender o básico da promoção: 20% de desconto, frete grátis, tenho que comprar $ 100 em coisas.

Neste exemplo, também despriorizamos visualmente a 'economia instantânea' porque esse texto é amplamente irrelevante para a meta.

4. Teste e itere

Agora que você tem sua variação, pode configurar seu teste.

O período de tempo que você deve executar um teste depende inteiramente de quanto tempo levará para atingir a significância estatística – que é uma maneira elegante de dizer: 'os dados que você está obtendo são 90% confiáveis'.

Na maioria dos casos, você precisará de pelo menos 1.200 impressões para ter confiança razoável em seus resultados.

Quando executar um teste A/B

Uma das partes mais importantes de qualquer teste é descobrir quando é apropriado testar.

É fácil dizer 'sempre'. Você deve estar sempre testando.

Às vezes eu ainda caio nessa mentalidade, mas antes de cada teste, é importante dar um passo para trás e fazer algumas perguntas:

Quantos visitantes verão esta promoção na próxima semana? Duas semanas? Mês?

A resposta a esta pergunta é extremamente importante. Em um mundo ideal, você precisará de alguns milhares de pontos de dados (ou seja, visitantes realmente executando seu teste).

Conforme declarado acima, seu teste deve ser executado no mínimo até ter 1.200 impressões para ter uma confiança razoável nos resultados.

Com isso em mente, seu primeiro passo é descobrir quantos visitantes previsivelmente passarão pelo seu teste por dia.

Esse número deve ser fácil de obter no painel do Google Analytics ou Justuno se você tiver sua conta do Analytics vinculada.

Ao analisar seus números de tráfego, é importante ter em mente o tipo de promoção que você está realizando e as regras de segmentação para a promoção.

Por exemplo, se você estiver executando uma promoção de intenção de saída, é justo supor que todos os visitantes do seu site verão isso. Se você estiver executando uma promoção de banner que é exibida apenas na página inicial, você deve observar os dados do visitante SOMENTE para sua página inicial e não para todo o site.

Com essas regras gerais em mãos, você pode entrar no seu Google Analytics e ver a página em que sua promoção ficará e encontrar as informações desejadas. Vá para a guia Público e defina o intervalo de datas para ver os últimos 3 a 6 meses completos e classifique por semana. Cada ponto de dados disponível no gráfico será uma janela de 7 para o seu tráfego.

Insira cada um dos pontos de dados em uma planilha (Planilhas Google ou Excel funcionarão igualmente bem) e faça a média desses números. Agora você tem um fluxo de tráfego semanal médio razoavelmente preciso para seu site.

Depois de ter sua contagem média de visitantes por dia, você pode calcular o tempo mínimo necessário para executar seu teste para atingir 1.200 impressões.

Veja nosso gráfico prático abaixo para obter diretrizes para começar:

O período mínimo de tempo que você deseja executar um teste é uma semana inteira. Seu teste precisa começar e parar no mesmo dia e, idealmente, ao mesmo tempo.

Isso ocorre porque, mesmo que você tenha 10.000 visitantes por dia, seu site terá um comportamento diferente do usuário em diferentes dias da semana. Ao iniciar e terminar seu teste no mesmo dia da semana, você pode ajudar a suavizar comportamentos e padrões incomuns do usuário.

Isso é extremamente importante, pois permite controlar as flutuações no tráfego e no comportamento do usuário no dia a dia.

Algumas palavras de advertência:

• Evite começar um teste em uma sexta-feira. Se algo der errado, você pode não perceber até segunda-feira.
• Comece seus testes pela manhã. Pelo mesmo motivo acima, tente não iniciar seus testes no final do dia.
• Não execute testes durante um feriado, pois a flutuação no tráfego e os padrões de compra prejudicam seus dados e invalidam o teste.

De um modo geral, o tempo máximo que você deseja executar um teste A/B será de um mês.

As razões para esse limite são baseadas na alocação de recursos.

Se demorar mais de um mês para atingir a viabilidade mínima ou cerca de 1.000 visitantes, você precisa pensar em executar um tipo diferente de teste.

Resumo dos prós e contras:

Fazer:

1. Encontre seu tráfego diário
2. Use números de tráfego para determinar a duração do teste
3. Inicie e pare seu teste no mesmo dia da semana

Não:

1. Iniciar um teste A/B em um fim de semana
2. Execute seu teste A/B por mais de um mês
3. Execute seu teste A/B durante um feriado
4. Inicie e interrompa seus testes em dias diferentes, em horários diferentes

Como é o sucesso do teste A/B

Se você passou por todo este artigo, parabéns! Você acabou de receber um curso intensivo em Teste A/B.

Antes de decolar e configurar seu primeiro teste A/B em sua conta Justuno, dê uma olhada em um estudo de caso recente realizado pelo varejista de joias Shopify Plus, The GLD Shop.

Neste teste A/B, a GLD Shop conseguiu aumentar as conversões em 300%!