Master A/B e test multivariati (Guida definitiva)

Ormai, la maggior parte degli esperti di marketing sa di dover integrare i test A/B nel processo di sviluppo di nuove promozioni e pubblicità.

Tuttavia, sapere che dovresti usare i test A/B e sapere come eseguire i test A/B sono due giochi con la palla diversi.

Il mondo dei test A/B può creare confusione, con molte persone che usano termini come "test A/B", "test A/B/n" o "test multivariato" in modo intercambiabile.

Tuttavia, questi sono tutti diversi tipi di test. Ecco una rapida carrellata:

I test "A/B" e "A/B/n" sono molto simili. Entrambi stanno testando una specifica modifica di una variabile per vedere l'impatto di tale modifica. Un test A/B significa che stai eseguendo due versioni della promozione, di solito un controllo e una seconda versione con la modifica che desideri testare. Un test A/B/n significa che stai eseguendo più versioni della promozione, continuando a testare l'unica variabile specifica, ma eseguendo più varianti di quella modifica variabile. Per esempio…

1. Test A/B: stai testando il testo sul tuo pulsante CTA. Una versione dice "Iscriviti!" la seconda versione dice "Unisciti ora!"
2. Test A/B/n: stai testando il colore del tuo pulsante CTA. Una versione è rossa, la seconda versione è blu, la terza versione è verde e così via.

Un test multivariato è qualsiasi test che misura l'impatto di più modifiche di variabili contemporaneamente. Il suggerimento è nel nome stesso: multi (molti) variate (variabili). Per esempio…

1. Stai testando le variazioni del colore del pulsante CTA E del testo contemporaneamente.

In questo articolo, illustreremo perché dovresti eseguire i test A/B, quali tipi di test dovresti eseguire e quando eseguire i tuoi test A/B. Entriamo!

Perché dovrei eseguire un test A/B?

Per eseguire un test A/B di successo, devi avere il ragionamento e l'intento corretti dietro il test.

Un motivo generale per eseguire un test è ottimizzare per le conversioni, ma è necessario disporre di un ragionamento più profondo e dettagliato se si desidera avere successo.

Analizziamo i motivi più comuni per eseguire un test A/B.

1. La mia promozione ha prestazioni inferiori

Questo è il motivo principale per cui la maggior parte dei marketer inizia il processo di test.

Una promozione sottoperformante è una vera preoccupazione per le tue entrate ed è qualcosa che puoi misurare.

Eseguendo test A/B, puoi modificare i dettagli della tua promozione per migliorarne progressivamente l'efficacia. Ciò ti consente di fornire un'esperienza migliore ai tuoi clienti, migliorando allo stesso tempo i tuoi profitti.

2. Le linee guida del mio marchio sono cambiate

Questo accade più spesso di quanto potresti pensare. Ogni volta che un'azienda esegue un aggiornamento del marchio, in genere le promozioni richiedono design e contenuti completamente nuovi.

Sebbene i test A/B siano un ottimo modo per implementare rapidamente queste modifiche, possono anche aiutare a guidare l'aggiornamento del marchio.

Testando diversi colori, verbosità e stili di design con i test A/B, puoi aiutare a informare la direzione generale del marchio presentando dati utente reali su ciò a cui i tuoi clienti rispondono meglio.

In questo caso, non testerai i nuovi design rispetto agli originali.

Con un aggiornamento del marchio, in genere hai una guida generale su dove andranno i design e la voce del marchio, ma devi comunque capire i dettagli per cose come carattere, tavolozza dei colori, ecc. Stai ricominciando dal punto di partenza e il tuo i test dovrebbero riflettere ciò che hai appreso dal tuo precedente successo nella promozione.

Prima di iniziare…

Prima di iniziare a impostare i test A/B, ci sono alcune cose da tenere a mente. In primo luogo, alcune insidie ​​da evitare...

Insidia n. 1: non controllare le prestazioni della promozione rispetto ai benchmark del settore.

Ovviamente, vuoi che le tue promozioni superino la "media", ma se la tua promozione sta già superando le medie del settore di oltre il 20%, potrebbe essere meglio testare qualcos'altro per raggiungere i tuoi obiettivi.

La buona notizia è che la tua promozione è molto al di sopra della concorrenza. La cattiva notizia è che potresti fare più male che bene eseguendo test A/B su questa promozione. Se la promozione è già l'ideale per il tuo cliente, l'introduzione di variazioni potrebbe far diminuire il rendimento.

Insidia n. 2: mancata identificazione di un KPI misurabile.

Se "vuoi solo che questa promozione faccia meglio", è probabile che tu non abbia legato quella promozione a un KPI che influirà su un obiettivo aziendale di linea di fondo.

Per migliorare le prestazioni di una promozione, è necessario tenere d'occhio quali KPI saranno interessati in modo da poter valutare con precisione una modifica.

Se il KPI allegato è quello di aumentare il valore medio dell'ordine e si esegue un test e si vede un aumento degli impegni ma un valore medio dell'ordine ridotto, il test non deve essere considerato un successo.

I KPI più comuni allegati alle promozioni sono:

1. Tasso di conversione
2. Tasso di abbandono del carrello
3. Tasso di acquisizione delle email
4. Valore medio dell'ordine

Dovresti determinare a quale KPI ti stai rivolgendo prima di avviare qualsiasi test per assicurarti di poter tracciare correttamente le modifiche.

Cosa dovrebbe testare IA/B?

Ora che hai una migliore comprensione delle basi, possiamo approfondire l'aspetto più importante e più comunemente frainteso del test: come strutturare un test A/B affidabile.

Elementi di una promozione

1. CTA – La Call to Action
2. Tag Line: copia per attirare l'attenzione dei visitatori
3. Copia offerta: la copia che descrive la tua offerta
4. Importo dell'offerta – Il valore tangibile dell'offerta
5. Asset immagine: immagine utilizzata per rappresentare un'offerta, un marchio, ecc.
6. Numero di passaggi: quanti passaggi sono necessari a un visitatore per completare il coinvolgimento

Sopra ci sono gli elementi primari di una promozione e quindi le principali variabili di test.

La copia dell'offerta e l'importo dell'offerta sono separati perché puoi modificare l'importo dell'offerta specifico senza modificare effettivamente la copia circostante.

Ecco un esempio:

• 'Inizia oggi per ottenere il 10% di sconto sul tuo abbonamento!'
• 'Inizia oggi per ottenere il 15% di sconto sul tuo abbonamento!'

Nell'esempio sopra, la "copia dell'offerta" è il testo in cui è racchiuso l'"importo dell'offerta". Questa distinzione è importante da tenere a mente mentre si procede nella creazione dei test effettivi.

L'importo dell'offerta avrà quasi sempre il peso più significativo. Se ci pensi in termini pratici, puoi capire perché.

Ad esempio, preferisci avere $ 5 di sconto su un autolavaggio premium o su un autolavaggio premium GRATUITO?

A parità di altre condizioni, più persone saranno più disposte a ottenere l'autolavaggio gratuito rispetto a soli $ 5 di sconto.

Come impostare un test A/B

1. Identificare i KPI

Il primo passaggio più importante nell'impostazione di qualsiasi test per l'ottimizzazione delle conversioni consiste nell'identificare il KPI su cui si desidera influire.

Ciò potrebbe ridurre l'abbandono del carrello, aumentare le iscrizioni e-mail, aumentare gli impegni o qualsiasi KPI specifico del sito che tu e il tuo team avete identificato.

Una volta identificato il tuo KPI, prendi l'elenco dei componenti dall'alto e inizia a formulare ipotesi su quale di questi elementi ti aiuterà meglio a migliorare il KPI che stai prendendo di mira.

Facciamo uno schizzo per te con un esempio in modo che tu possa vedere come è fatto:

In questo esempio c'è molto da fare e molto da decomprimere, quindi iniziamo scomponendolo usando l'elenco di cui sopra.

1. Importo dell'offerta - In questa particolare promozione ci sono in realtà due offerte diverse: sconto del 20% e spedizione gratuita.
2. Numero di passaggi – 1
3. CTA – Usa il codice.
4. Risorsa immagine : nessuna
5. Tag line – Risparmio istantaneo
6. Copia dell'offerta – Togli (importo dell'offerta 1) dagli articoli nel carrello ora + (importo dell'offerta 2)

Scomporre visivamente ogni parte della promozione ti darà una chiara comprensione di tutte le diverse parti mobili e ti consentirà di dare priorità ai tuoi test.

Rimanendo con questo esempio, utilizziamo il valore medio dell'ordine come nostro KPI principale. Si tratta di un KPI chiaro e misurabile che avrà sicuramente un impatto sui profitti dell'azienda.

2. Identificare e ipotizzare

Successivamente, è necessario identificare gli elementi che ritieni porteranno ad avere il maggiore impatto sul tuo KPI identificato. Per questo esempio, utilizzeremo Copia offerta e Importo offerta.

Per ogni promozione, è importante annotare le tue ipotesi in modo da poter tracciare la tua linea di pensiero.

Ecco un esempio di ipotesi:

Ritengo che la modifica della copia dell'offerta per includere un valore minimo dell'ordine e l'aumento della visibilità degli importi dell'offerta aumenterà il valore medio dell'ordine.

Come puoi vedere, un'ipotesi tipica non è eccessivamente complessa ma è molto specifica su azioni e risultati.

3. Crea una variante

Ora che hai formulato un'ipotesi e identificato gli elementi da verificare, puoi iniziare a creare variazioni basate su quegli elementi.

Fortunatamente, con Justuno, questa parte è solitamente molto semplice. Scopri la variazione qui sotto:

Quando si impostano i test A/B, è meglio testare le variazioni su un solo elemento alla volta. Nell'esempio sopra, noterai che solo la copia dell'offerta è cambiata, mentre l'importo dell'offerta rimane lo stesso.

In teoria, qualsiasi utente che guardi questo pop-up dovrebbe immediatamente comprendere le basi della promozione: 20% di sconto, spedizione gratuita, devo comprare $ 100 di roba.

In questo esempio, abbiamo anche de-priorizzato visivamente il "risparmio istantaneo" perché quel testo è in gran parte irrilevante per l'obiettivo.

4. Testare e ripetere

Ora che hai la tua variante, puoi impostare il tuo test.

Il tempo necessario per eseguire un test dipende interamente da quanto tempo ci vorrà per raggiungere la significatività statistica, che è un modo elegante per dire "i dati che stai ricevendo sono affidabili al 90%".

Nella maggior parte dei casi, avrai bisogno di almeno 1.200 impressioni per avere una ragionevole fiducia nei tuoi risultati.

Quando eseguire un test A/B

Una delle parti più importanti di qualsiasi test è capire quando è opportuno eseguire il test.

È facile dire "Sempre". Dovresti sempre testare.

A volte cado ancora in questa mentalità, ma prima di ogni test è importante fare un passo indietro e porsi alcune domande:

Quanti visitatori vedranno questa promozione nella prossima settimana? Due settimane? Mese?

La risposta a questa domanda è incredibilmente importante. In un mondo ideale, avrai bisogno di alcune migliaia di punti di dati (cioè i visitatori che stanno effettivamente attraversando il tuo test).

Come indicato sopra, come minimo, il test dovrebbe essere eseguito fino a quando non ha 1.200 impressioni per essere ragionevolmente sicuro dei risultati.

Con questo in mente, il tuo primo passo è capire quanti visitatori saranno prevedibilmente incanalati attraverso il tuo test al giorno.

Questo numero dovrebbe essere facile da ottenere dalla dashboard di Google Analytics o Justuno se hai collegato il tuo account Analytics.

Quando esamini i tuoi numeri di traffico, è importante tenere a mente il tipo di promozione che stai pubblicando e le regole di targeting per la promozione.

Ad esempio, se stai eseguendo una promozione Exit Intent, è lecito presumere che ogni visitatore del tuo sito la vedrà. Se stai eseguendo una promozione banner che viene visualizzata solo sulla home page, dovresti guardare i dati dei visitatori SOLO per la tua home page e non per l'intero sito.

Con queste regole generali in mano, puoi entrare nel tuo Google Analytics e guardare la pagina su cui vivrà la tua promozione e trovare le informazioni che desideri. Vai alla scheda Pubblico e imposta l'intervallo di date per guardare gli ultimi 3-6 mesi interi, quindi ordina per settimana. Ogni punto dati disponibile sul grafico sarà una finestra 7 nel tuo traffico.

Inserisci ciascuno dei punti dati in un foglio di calcolo (fogli Google o Excel funzioneranno ugualmente bene), quindi calcola la media di quei numeri. Ora hai un flusso di traffico settimanale medio ragionevolmente accurato per il tuo sito.

Una volta che hai il numero medio di visitatori al giorno, puoi calcolare il tempo minimo necessario per eseguire il test per raggiungere 1.200 impressioni.

Consulta la nostra pratica tabella di seguito per le linee guida per iniziare:

La durata minima di un test è di una settimana intera. Il test deve iniziare e terminare lo stesso giorno e, idealmente, alla stessa ora.

Questo perché anche se hai 10.000 visitatori al giorno, il tuo sito sperimenterà un comportamento utente diverso in diversi giorni della settimana. Iniziando e terminando il test lo stesso giorno della settimana, puoi aiutare a smussare comportamenti e schemi insoliti degli utenti.

Questo è di fondamentale importanza in quanto ti consente di controllare le fluttuazioni del traffico e il comportamento degli utenti giorno dopo giorno.

Qualche parola di avvertimento:

• Evita di iniziare un test di venerdì. Se qualcosa dovesse andare storto, potresti non accorgertene fino a lunedì.
• Inizia i test al mattino. Per lo stesso motivo sopra, cerca di non iniziare i test nel corso della giornata.
• Non eseguire test durante una vacanza poiché la fluttuazione del traffico e i modelli di acquisto eliminano i dati e invalidano il test.

In generale, il tempo massimo per eseguire un test A/B sarà di un mese.

Le ragioni di questo limite si basano sull'allocazione delle risorse.

Se ci vuole più di un mese per raggiungere la redditività minima o circa 1.000 visitatori, allora devi pensare a eseguire un diverso tipo di test.

Riepilogo delle cose da fare e da non fare:

Fare:

1. Trova il tuo traffico giornaliero
2. Utilizzare i numeri di traffico per determinare la durata del test
3. Inizia e termina il test lo stesso giorno della settimana

Non:

1. Inizia un test A/B in un fine settimana
2. Esegui il tuo test A/B per più di un mese
3. Esegui il tuo test A/B durante una vacanza
4. Avvia e interrompi i tuoi test in giorni diversi, in orari diversi

Che aspetto ha il successo del test A/B

Se hai superato l'intero articolo, congratulazioni! Hai appena ricevuto un corso accelerato in A/B Testing.

Prima di decollare e impostare il tuo primo test A/B nel tuo account Justuno, dai un'occhiata a un recente case study eseguito dal rivenditore di gioielli Shopify Plus, The GLD Shop.

In questo test A/B, The GLD Shop è stato in grado di aumentare le conversioni del 300%!