Master A/B și testare multivariată (Ghid final)

Până acum, majoritatea agenților de marketing știu că trebuie să integreze testarea A/B în procesul lor de dezvoltare a noilor promoții și publicitate.

Cu toate acestea, să știi că ar trebui să folosești teste A/B și să știi cum să rulezi teste A/B sunt două jocuri cu minge diferite.

Lumea testării A/B poate fi confuză, mulți oameni folosind termeni precum „testare A/B”, „testare A/B/n” sau „testare multivariată” în mod interschimbabil.

Cu toate acestea, toate acestea sunt tipuri diferite de teste. Iată o scurtă descriere:

Testarea „A/B” și „A/B/n” sunt foarte asemănătoare. Ambii testează o anumită modificare a variabilei pentru a vedea impactul acelei schimbări. Un test A/B înseamnă că rulați două versiuni ale promoției – de obicei un control și o a doua versiune cu modificarea pe care doriți să o testați. Un test A/B/n înseamnă că rulați mai multe versiuni ale promoției – încă testați o anumită variabilă, dar rulați mai multe variații ale acelei variabile. De exemplu…

1. Test A/B: testați textul de pe butonul CTA. O versiune spune „Înscrieți-vă!” a doua versiune spune „Înscrie-te acum!”
2. Test A/B/n: testați culoarea butonului CTA. O versiune este roșie, a doua versiune este albastră, a treia versiune este verde și așa mai departe.

Un test multivariat este orice test care măsoară impactul modificărilor multiple ale variabilei simultan. Sugestia se află în numele însuși: mai multe (multe) variabile (variabile). De exemplu…

1. Testați variații ale culorii butonului CTA ȘI ale textului în același timp.

În acest articol, vom aborda de ce ar trebui să rulați teste A/B, ce tipuri de teste ar trebui să rulați și când să rulați testele A/B. Să sărim înăuntru!

De ce ar trebui să rulez un test A/B?

Pentru a rula un test A/B cu succes, trebuie să aveți raționamentul și intenția adecvate în spatele testului.

Un motiv larg pentru a rula un test este optimizarea pentru conversii, dar trebuie să aveți un raționament mai profund și mai detaliat dacă doriți să aveți succes.

Să vedem cele mai comune motive pentru care rulează un test A/B.

1. Promoția mea este slabă

Acesta este motivul principal pentru care majoritatea marketerilor încep procesul de testare.

O promovare slabă este o preocupare reală pentru veniturile dvs. și este ceva ce puteți măsura.

Rulând teste A/B, puteți modifica detaliile promoției dvs. pentru a îmbunătăți treptat eficacitatea acesteia. Acest lucru vă permite să oferiți o experiență mai bună pentru clienții dvs., îmbunătățind în același timp rezultatul final.

2. Regulile mele de brand s-au schimbat

Acest lucru se întâmplă mai des decât ai putea crede. De fiecare dată când o companie trece printr-o reîmprospătare a mărcii, de obicei, promoțiile vor necesita design și conținut complet noi.

Deși testarea A/B este o modalitate excelentă de a implementa rapid aceste modificări, poate ajuta și la ghidarea reîmprospătării mărcii.

Testând diferite culori, versuri și stiluri de design cu teste A/B, puteți ajuta la informarea direcției generale a mărcii, prezentând date reale despre utilizatorii la ceea ce clienții dvs. răspund cel mai bine.

În acest caz, nu veți testa noile modele față de originale.

Cu o reîmprospătare a mărcii, aveți de obicei un ghid general pentru direcția în care se vor îndrepta design-urile și vocea mărcii, dar trebuie totuși să vă dați seama de detaliile pentru lucruri precum fontul, paleta de culori etc. Începeți de la început și dvs. testele ar trebui să reflecte învățările tale din succesul anterior la promovare.

Înainte de a începe…

Înainte de a începe să vă configurați testele A/B, trebuie să aveți în vedere câteva lucruri. În primul rând, câteva capcane de evitat...

Capcana #1: Nu se verifică performanța promovării în raport cu valorile de referință din industrie.

Desigur, doriți ca promoțiile dvs. să depășească „medie”, dar dacă promovarea dvs. depășește deja media industriei cu peste 20%, poate fi cel mai bine să testați altceva pentru a vă atinge obiectivele.

Vestea bună este că promovarea dvs. este mult peste concurență. Vestea proastă este că s-ar putea să faci mai mult rău decât bine rulând teste A/B la această promoție. Dacă promovarea este deja ideală pentru client, atunci introducerea de variații poate face ca performanța să scadă.

Capcana #2: Eșecul de a identifica un KPI măsurabil.

Dacă „doriți doar ca această promoție să se descurce mai bine”, atunci sunt șanse să nu fi legat acea promovare de un KPI care va avea un impact asupra obiectivului de afaceri.

Pentru a îmbunătăți performanța unei promoții, trebuie să fii cu ochii pe ce indicatori de valoare vor fi afectați, astfel încât să poți evalua cu exactitate o schimbare.

Dacă KPI-ul atașat este de a crește valoarea medie a comenzii și executați un test și observați angajamente crescute, dar o valoare medie a comenzii scăzută, atunci testul nu ar trebui considerat un succes.

Cele mai comune KPI atașate promoțiilor sunt:

1. Rata de conversie
2. Rata de abandonare a coșului
3. Rata de captare a e-mailului
4. Valoarea medie a comenzii

Ar trebui să determinați ce KPI vizați înainte de a lansa orice teste pentru a vă asigura că puteți urmări corect modificările.

Ce ar trebui să testeze IA/B?

Acum că aveți o mai bună înțelegere a elementelor de bază, putem să cercetăm cel mai important și cel mai frecvent aspect greșit înțeles al testării - cum să structurați un test A/B de încredere.

Elementele unei promoții

1. CTA – Îndemnul la acțiune
2. Tag Line – Copiați pentru a atrage atenția vizitatorilor
3. Copia ofertei – Copia care descrie oferta dvs
4. Suma ofertei – Valoarea tangibilă a ofertei
5. Activ imagine – Imagine folosită pentru a reprezenta o ofertă, o marcă etc.
6. Numărul de pași – Câți pași îi ia unui vizitator pentru a finaliza angajamentul

Mai sus sunt elementele principale ale unei promoții și, prin urmare, principalele variabile de testare.

Copia ofertei și Suma ofertei sunt separate, deoarece puteți modifica valoarea ofertei specifice fără a schimba efectiv copia din jur.

Iată un exemplu:

• „Începe astăzi pentru a obține 10% reducere la abonament!”
• „Începe astăzi pentru a obține 15% reducere la abonament!”

În exemplul de mai sus, „copia ofertei” este textul în care este împachetat „suma ofertei”. Este important de reținut această distincție pe măsură ce avansați în crearea unor teste reale.

Suma ofertei va avea aproape întotdeauna cea mai importantă pondere. Dacă te gândești la asta în termeni practici, poți vedea de ce.

De exemplu, preferați să beneficiați de o reducere de 5 USD la o spălătorie premium sau la o spălătorie premium GRATUITĂ?

Toate celelalte lucruri fiind egale, mai mulți oameni vor fi mai dispuși să beneficieze de spălătoria auto gratuită decât doar 5 USD reducere.

Cum să configurați un test A/B

1. Identificați KPI

Cel mai important prim pas în configurarea oricărui test de optimizare pentru conversii este identificarea KPI-ului pe care doriți să-l afectați.

Acest lucru ar putea fi reducerea abandonului coșului, creșterea înscrierilor prin e-mail, creșterea angajamentelor sau orice KPI specifici site-ului pe care dvs. și echipa dvs. le-ați identificat.

Odată ce vă identificați KPI-ul, luați lista de componente de mai sus și începeți să formulați ipoteze despre care dintre aceste elemente vă va ajuta cel mai bine să îmbunătățiți KPI-ul pe care îl vizați.

Să schițăm acest lucru pentru tine cu un exemplu, astfel încât să poți vedea cum se face:

În acest exemplu, se întâmplă multe și multe de despachetat, așa că să începem prin a le defalca folosind lista de mai sus.

1. Valoarea ofertei – În această promoție specială, există de fapt două oferte diferite care sunt promovate - 20% reducere și livrare gratuită.
2. Numărul de pași - 1
3. CTA – Folosește codul.
4. Activ imagine – Niciunul
5. Tag line – Economii instantanee
6. Copia ofertei – Luați (valoarea ofertei 1) de pe articolele din coșul dvs. acum + (suma ofertei 2)

Defalcarea vizuală a fiecărei părți a promoției vă va oferi o înțelegere clară a tuturor diferitelor părți în mișcare și vă va permite să prioritizați testele.

Continuând cu acest exemplu, să folosim valoarea medie a comenzii ca principal KPI. Acesta este un KPI clar, măsurabil, care va afecta cu siguranță rezultatul companiei.

2. Identificați și formulați ipoteze

Apoi, trebuie să identificați elementele despre care credeți că vor avea cel mai mare impact asupra KPI-ul dvs. identificat. Pentru acest exemplu, vom folosi Copierea ofertei și Suma ofertei.

Pentru fiecare promoție, este important să vă scrieți ipoteza, astfel încât să vă puteți urmări linia de gândire.

Iată un exemplu de ipoteză:

Consider că modificarea copiei ofertei pentru a include o valoare minimă a comenzii și creșterea vizibilității sumelor ofertei va crește valoarea medie a comenzii.

După cum puteți vedea, o ipoteză tipică nu este prea complexă, dar este foarte specifică în ceea ce privește acțiunile și rezultatele.

3. Creați o variație

Acum că ați formulat o ipoteză și ați identificat elementele de testat, puteți începe să creați variații pe baza acestor elemente.

Din fericire, cu Justuno, această parte este de obicei foarte simplă. Consultați varianta de mai jos:

Când vă configurați testele A/B, cel mai bine este să testați variațiile pe un singur element la un moment dat. În exemplul de mai sus, veți observa că doar copia ofertei s-a schimbat, în timp ce suma ofertei rămâne aceeași.

În teorie, orice utilizator care aruncă o privire la această fereastră pop-up ar trebui să înțeleagă imediat elementele de bază ale promoției: 20% reducere, transport gratuit, trebuie să cumpăr lucruri în valoare de 100 USD.

În acest exemplu, am deprimat vizual și „economiile instantanee”, deoarece textul respectiv este în mare măsură irelevant pentru obiectiv.

4. Testați și repetați

Acum că aveți varianta dvs., vă puteți configura testul.

Perioada de timp în care ar trebui să rulați un test depinde în întregime de cât timp va dura pentru a atinge semnificația statistică – care este un mod elegant de a spune „datele pe care le obțineți sunt de încredere în proporție de 90%.

În cele mai multe cazuri, veți avea nevoie de cel puțin 1.200 de afișări pentru a avea încredere rezonabilă în rezultatele dvs.

Când să rulați un test A/B

Una dintre cele mai importante părți ale oricărui test este să vă dați seama când este potrivit să testați.

Este ușor să spui „Întotdeauna”. Ar trebui să faci mereu teste.

Uneori încă mă încad în această mentalitate, dar înainte de fiecare test, este important să faci un pas înapoi și să-ți pui câteva întrebări:

Câți vizitatori vor vedea această promoție în săptămâna viitoare? Doua saptamani? Lună?

Răspunsul la această întrebare este incredibil de important. Într-o lume ideală, veți avea nevoie de câteva mii de puncte de date (adică vizitatori care trec de fapt prin test).

După cum sa menționat mai sus, cel puțin, testul dvs. ar trebui să ruleze până când are 1.200 de afișări pentru a avea încredere în rezultate.

Având în vedere acest lucru, primul pas este să îți dai seama câți vizitatori vor canaliza în mod previzibil prin testul tău pe zi.

Acest număr ar trebui să fie ușor de obținut din tabloul de bord Google Analytics sau Justuno dacă aveți contul Analytics conectat.

Când vă uitați la cifrele de trafic, este important să aveți în vedere tipul de promovare pe care o desfășurați și regulile de direcționare pentru promoție.

De exemplu, dacă desfășurați o promoție Exit Intent, atunci este corect să presupuneți că fiecare vizitator al site-ului dvs. va vedea acest lucru. Dacă desfășurați o promovare banner care se afișează numai pe pagina de pornire, atunci ar trebui să vă uitați la datele vizitatorilor NUMAI pentru pagina dvs. de pornire și nu pentru întregul site.

Cu acele reguli generale în mână, puteți accesa Google Analytics și vă uitați la pagina pe care va locui promoția dvs. și puteți găsi informațiile pe care le doriți. Accesați fila Public și setați intervalul de date pentru a vedea ultimele 3-6 luni întregi, apoi sortați după săptămână. Fiecare punct de date disponibil pe diagramă va fi o fereastră de 7 în traficul dvs.

Introduceți fiecare dintre punctele de date într-o foaie de calcul (Google Sheets sau Excel vor funcționa la fel de bine), apoi media acelor numere. Acum aveți un flux de trafic mediu săptămânal rezonabil de precis pentru site-ul dvs.

După ce aveți numărul mediu de vizitatori pe zi, puteți calcula timpul minim de care aveți nevoie pentru a rula testul pentru a ajunge la 1.200 de afișări.

Consultați graficul nostru la îndemână de mai jos pentru instrucțiuni pentru a începe:

Durata minimă de timp în care doriți să rulați un test este de o săptămână întreagă. Testul trebuie să înceapă și să se oprească în aceeași zi și, în mod ideal, la aceeași oră.

Acest lucru se datorează faptului că, chiar dacă aveți 10.000 de vizitatori pe zi, site-ul dvs. va experimenta un comportament diferit al utilizatorilor în diferite zile ale săptămânii. Începând și încheind testul în aceeași zi a săptămânii, puteți ajuta la netezirea comportamentelor și modelelor neobișnuite ale utilizatorilor.

Acest lucru este extrem de important, deoarece vă permite să controlați fluctuațiile traficului și comportamentul utilizatorilor de la o zi la alta.

Câteva cuvinte de avertizare:

• Evitați să începeți un test într-o zi de vineri. Dacă ceva nu merge bine, este posibil să nu observați până luni.
• Începeți-vă testele dimineața. Din același motiv de mai sus, încercați să nu începeți testele mai târziu în cursul zilei.
• Nu efectuați teste într-o vacanță, deoarece fluctuația traficului și tiparele de cumpărare vă aruncă datele și invalidează testul.

În general, timpul maxim în care doriți să rulați un test A/B va fi de o lună.

Motivele acestui plafon se bazează pe alocarea resurselor.

Dacă durează mai mult de o lună pentru a atinge viabilitatea minimă sau aproximativ 1.000 de vizitatori, atunci trebuie să te gândești să rulezi un alt tip de test.

Rezumatul lucrurilor de făcut și a nu:

Do:

1. Găsiți traficul zilnic
2. Utilizați numerele de trafic pentru a determina durata testului
3. Începeți și opriți testul în aceeași zi a săptămânii

Nu:

1. Începeți un test A/B într-un weekend
2. Rulați testul A/B mai mult de o lună
3. Rulați-vă testul A/B în timpul unei vacanțe
4. Începeți și opriți testele în zile diferite, la ore diferite

Cum arată succesul testului A/B

Dacă ai trecut prin tot acest articol, felicitări! Tocmai ați primit un curs intensiv de testare A/B.

Înainte de a începe și de a configura primul test A/B în contul dvs. Justuno, aruncați o privire asupra unui studiu de caz recent realizat de comerciantul de bijuterii Shopify Plus, The GLD Shop.

În acest test A/B, The GLD Shop a reușit să crească conversiile cu 300%!