Mistrzowskie testy A/B i wielowymiarowe (Przewodnik Ultimate)

Do tej pory większość marketerów wie, że musi zintegrować testy A/B z procesem opracowywania nowych promocji i reklam.

Jednak wiedza, że ​​powinieneś używać testów A/B i wiedza, jak przeprowadzać testy A/B, to dwie różne gry z piłką.

Świat testów A/B może być mylący, ponieważ wiele osób używa zamiennie terminów takich jak „testy A/B”, „testy A/B/n” lub „testy wielowymiarowe”.

Są to jednak różne rodzaje testów. Oto krótkie podsumowanie:

Testy A/B i A/B/n są bardzo podobne. Obaj testują jedną konkretną zmianę zmiennej, aby zobaczyć wpływ tej zmiany. Test A/B oznacza, że ​​uruchamiasz dwie wersje promocji – zwykle kontrolkę i drugą wersję ze zmianą, którą chcesz przetestować. Test A/B/n oznacza, że ​​uruchamiasz wiele wersji promocji – nadal testujesz jedną konkretną zmienną, ale uruchamiasz wiele odmian tej zmiennej. Na przykład…

1. Test A/B: Testujesz tekst na przycisku CTA. Jedna wersja mówi „Zarejestruj się!” druga wersja mówi „Dołącz teraz!”
2. Test A/B/n: Testujesz kolor przycisku CTA. Jedna wersja jest czerwona, druga wersja niebieska, trzecia wersja zielona i tak dalej.

Test wielowymiarowy to dowolny test, który mierzy wpływ zmian wielu zmiennych jednocześnie. Podpowiedź znajduje się w samej nazwie: multi (wiele) zmiennych (zmiennych). Na przykład…

1. Testujesz jednocześnie różne odmiany koloru i tekstu przycisku wezwania do działania.

W tym artykule omówimy, dlaczego warto przeprowadzać testy A/B, jakie typy testów należy przeprowadzać i kiedy należy przeprowadzać testy A/B. Wskoczmy!

Dlaczego powinienem przeprowadzić test A/B?

Aby pomyślnie przeprowadzić test A/B, musisz mieć odpowiednie uzasadnienie i intencje stojące za testem.

Głównym powodem przeprowadzenia testu jest optymalizacja pod kątem konwersji, ale jeśli chcesz odnieść sukces, musisz mieć głębsze i bardziej szczegółowe uzasadnienie.

Przyjrzyjmy się najczęstszym powodom przeprowadzania testu A/B.

1. Moja promocja jest słaba

To główny powód, dla którego większość marketerów rozpoczyna proces testowania.

Nisko skuteczna promocja jest prawdziwym problemem dla Twoich przychodów i jest czymś, co możesz zmierzyć.

Przeprowadzając testy A/B, możesz dostosować szczegóły swojej promocji, aby stopniowo poprawiać jej skuteczność. Pozwala to zapewnić lepsze wrażenia dla klientów, jednocześnie poprawiając wyniki finansowe.

2. Zmieniły się wytyczne mojej marki

Zdarza się to częściej, niż mogłoby się wydawać. Za każdym razem, gdy firma przechodzi odświeżenie marki, zazwyczaj promocje będą wymagały zupełnie nowych projektów i treści.

Chociaż testy A/B to świetny sposób na szybkie wdrożenie tych zmian, mogą również pomóc w odświeżeniu marki.

Testując różne kolory, słownictwo i style projektowe za pomocą testów A/B, możesz pomóc w określeniu ogólnego kierunku marki, prezentując rzeczywiste dane użytkowników o tym, na co Twoi klienci najlepiej reagują.

W takim przypadku nie testowałbyś nowych projektów z oryginałami.

Po odświeżeniu marki zazwyczaj masz ogólny przewodnik dotyczący tego, dokąd zmierzają projekty marki i głos, ale nadal musisz ustalić szczegóły dotyczące takich rzeczy, jak czcionka, paleta kolorów itp. Zaczynasz od początku i testy powinny odzwierciedlać Twoje wnioski z poprzednich sukcesów promocyjnych.

Zanim zaczniesz…

Zanim zaczniesz konfigurować testy A/B, musisz pamiętać o kilku rzeczach. Przede wszystkim kilka pułapek, których należy uniknąć…

Pułapka nr 1: brak sprawdzania wyników promocji w porównaniu z branżowymi testami porównawczymi.

Oczywiście chcesz, aby Twoje promocje przewyższały „średnie”, ale jeśli Twoja promocja jest już o 20% lepsza od średniej w branży, najlepiej przetestować coś innego, aby osiągnąć swoje cele.

Dobrą wiadomością jest to, że Twoja promocja znacznie przewyższa konkurencję. Zła wiadomość jest taka, że ​​przeprowadzając testy A/B w tej promocji, możesz wyrządzić więcej szkody niż pożytku. Jeśli promocja jest już idealna dla Twojego klienta, wprowadzenie odmian może spowodować spadek skuteczności.

Pułapka nr 2: Niezidentyfikowanie mierzalnego KPI.

Jeśli „chcesz, aby ta promocja działała lepiej”, prawdopodobnie nie powiązałeś tej promocji z KPI, który wpłynie na końcowy cel biznesowy.

Aby poprawić skuteczność promocji, musisz mieć oko na to, na jakie wskaźniki KPI wpłynie, aby móc dokładnie ocenić zmianę.

Jeśli dołączony KPI ma zwiększyć średnią wartość zamówienia, a po przeprowadzeniu testu zauważysz wzrost zaangażowania, ale zmniejszoną średnią wartość zamówienia, test nie powinien być uważany za udany.

Najczęstsze KPI związane z promocjami to:

1. Współczynnik konwersji
2. Wskaźnik porzucania koszyka
3. Szybkość przechwytywania wiadomości e-mail
4. Średnia wartość zamówienia

Przed uruchomieniem jakichkolwiek testów należy określić, na który wskaźnik KPI jest celem, aby upewnić się, że można prawidłowo śledzić zmiany.

Co powinien testować IA/B?

Teraz, gdy już lepiej rozumiesz podstawy, możemy zagłębić się w najważniejszy i najczęściej niezrozumiany aspekt testowania – jak skonstruować wiarygodny test A/B.

Elementy Promocji

1. CTA – Wezwanie do działania
2. Tag Line – Kopiuj, aby przyciągnąć uwagę odwiedzających
3. Kopia oferty — kopia opisująca Twoją ofertę
4. Kwota oferty – materialna wartość oferty
5. Zasób graficzny — obraz używany do reprezentowania oferty, marki itp.
6. Liczba kroków – Ile kroków zajmuje odwiedzający, aby zakończyć zaangażowanie

Powyżej znajdują się podstawowe elementy promocji, a zatem główne zmienne testowe.

Kopia oferty i Kwota oferty są oddzielone, ponieważ możesz zmienić konkretną kwotę oferty bez faktycznej zmiany otaczającej kopii.

Oto przykład:

• 'Zacznij już dziś, aby otrzymać 10% zniżki na subskrypcję!'
• 'Zacznij już dziś, aby otrzymać 15% zniżki na subskrypcję!'

W powyższym przykładzie „kopia oferty” to tekst, w który opakowana jest „kwota oferty”. Należy pamiętać o tym rozróżnieniu podczas tworzenia rzeczywistych testów.

Kwota oferty prawie zawsze będzie miała najważniejszą wagę. Jeśli pomyślisz o tym w kategoriach praktycznych, zobaczysz dlaczego.

Na przykład, czy wolisz mieć 5 USD zniżki na myjnię premium, czy na DARMOWĄ myjnię premium?

Wszystkie inne rzeczy są równe, więcej osób będzie bardziej skłonnych do darmowej myjni samochodowej niż tylko 5 dolarów zniżki.

Jak skonfigurować test A/B

1. Zidentyfikuj KPI

Najważniejszym pierwszym krokiem przy konfigurowaniu dowolnego testu do optymalizacji pod kątem konwersji jest określenie KPI, na który chcesz wpłynąć.

Może to oznaczać zmniejszenie liczby porzucania koszyków, zwiększenie liczby rejestracji e-maili, zwiększenie zaangażowania lub wszelkie KPI specyficzne dla witryny, które zidentyfikowaliście wraz z zespołem.

Gdy już zidentyfikujesz swój KPI, weź powyższą listę komponentów i zacznij formułować hipotezy na temat tego, który z tych elementów najlepiej pomoże Ci poprawić KPI, na który kierujesz.

Naszkicujmy to dla ciebie na przykładzie, abyś mógł zobaczyć, jak to się robi:

W tym przykładzie dużo się dzieje i dużo do rozpakowania, więc zacznijmy od podzielenia tego, korzystając z powyższej listy.

1. Kwota oferty – w tej konkretnej promocji są w rzeczywistości promowane dwie różne oferty — 20% zniżki i bezpłatna wysyłka.
2. Liczba kroków – 1
3. CTA – Użyj kodu.
4. Zasób graficzny – Brak
5. Slogan – Natychmiastowe oszczędności
6. Kopia oferty – Pobierz (kwota oferty 1) z pozycji w koszyku teraz + (kwota oferty 2)

Wizualne rozbicie każdej części promocji zapewni jasne zrozumienie wszystkich ruchomych części i pozwoli określić priorytety testów.

Pozostając przy tym przykładzie, użyjmy średniej wartości zamówienia jako naszego głównego wskaźnika KPI. To jasny, mierzalny KPI, który z pewnością wpłynie na wyniki firmy.

2. Zidentyfikuj i postaw hipotezę

Następnie musisz zidentyfikować elementy, które Twoim zdaniem będą miały największy wpływ na Twój zidentyfikowany KPI. W tym przykładzie użyjemy opcji Kopia oferty i Kwota oferty.

W przypadku każdej promocji ważne jest, aby zapisać swoją hipotezę, aby móc śledzić swój tok myślenia.

Oto przykładowa hipoteza:

Uważam, że zmiana kopii oferty tak, aby zawierała minimalną wartość zamówienia i zwiększenie widoczności Kwot oferty zwiększy średnią wartość zamówienia.

Jak widać, typowa hipoteza nie jest zbyt złożona, ale bardzo konkretnie dotyczy działań i wyników.

3. Utwórz odmianę

Teraz, gdy sformułowałeś hipotezę i zidentyfikowałeś elementy do przetestowania, możesz zacząć tworzyć odmiany w oparciu o te elementy.

Na szczęście w Justuno ta część jest zwykle bardzo prosta. Sprawdź wariant poniżej:

Podczas konfigurowania testów A/B najlepiej jest testować odmiany tylko jednego elementu naraz. W powyższym przykładzie zauważysz, że zmieniła się tylko kopia oferty, podczas gdy kwota oferty pozostaje taka sama.

Teoretycznie każdy użytkownik zerkający na to wyskakujące okienko powinien natychmiast zapoznać się z podstawami promocji: 20% zniżki, bezpłatna dostawa, muszę kupić rzeczy o wartości 100 USD.

W tym przykładzie wizualnie zrezygnowaliśmy z priorytetów „natychmiastowych oszczędności”, ponieważ tekst ten jest w dużej mierze nieistotny dla celu.

4. Testuj i powtarzaj

Teraz, gdy masz już swoją odmianę, możesz skonfigurować test.

Czas, w którym należy przeprowadzić test, zależy wyłącznie od tego, ile czasu zajmie osiągnięcie istotności statystycznej – co jest wymyślnym sposobem powiedzenia: „otrzymywane dane są w 90% wiarygodne”.

W większości przypadków będziesz potrzebować co najmniej 1200 wyświetleń , aby mieć uzasadnione zaufanie do swoich wyników.

Kiedy przeprowadzić test A/B?

Jedną z najważniejszych części każdego testu jest ustalenie, kiedy należy go przetestować.

Łatwo powiedzieć „Zawsze”. Zawsze powinieneś testować.

Czasami sam wpadam w takie nastawienie, ale przed każdym testem ważne jest, aby zrobić krok wstecz i zadać sobie kilka pytań:

Ilu odwiedzających zobaczy tę promocję w przyszłym tygodniu? Dwa tygodnie? Miesiąc?

Odpowiedź na to pytanie jest niezwykle ważna. W idealnym świecie będziesz potrzebować kilku tysięcy punktów danych (tj. odwiedzających faktycznie przechodzących przez twój test).

Jak wspomniano powyżej, test powinien trwać co najmniej do 1200 wyświetleń, aby mieć wystarczającą pewność co do wyników.

Mając to na uwadze, pierwszym krokiem jest ustalenie, ilu odwiedzających w przewidywalny sposób przejdzie przez test dziennie.

Numer ten powinien być łatwy do uzyskania z pulpitu nawigacyjnego Google Analytics lub Justuno, jeśli masz połączone konto Analytics.

Patrząc na liczbę odwiedzin, należy pamiętać o rodzaju prowadzonej promocji i zasadach jej kierowania.

Na przykład, jeśli prowadzisz promocję Exit Intent, można założyć, że zobaczy ją każdy odwiedzający Twoją witrynę. Jeśli prowadzisz promocję banerową, która wyświetla się tylko na stronie głównej, powinieneś patrzeć na dane odwiedzających TYLKO dla swojej strony głównej, a nie dla całej witryny.

Mając te ogólne zasady, możesz przejść do Google Analytics i spojrzeć na stronę, na której będzie się wyświetlać Twoja promocja, i znaleźć potrzebne informacje. Przejdź do zakładki Odbiorcy i ustaw zakres dat, aby zobaczyć ostatnie 3-6 pełnych miesięcy, a następnie posortuj według tygodnia. Każdy punkt danych dostępny na wykresie będzie 7 oknem na Twój ruch.

Wprowadź każdy z punktów danych do arkusza kalkulacyjnego (Arkusze Google lub Excel będą działać równie dobrze), a następnie uśrednij te liczby. Masz teraz dość dokładny średni tygodniowy przepływ ruchu w Twojej witrynie.

Po ustaleniu średniej dziennej liczby odwiedzających możesz obliczyć minimalny czas potrzebny do przeprowadzenia testu, aby osiągnąć 1200 wyświetleń.

Zapoznaj się z naszą przydatną tabelą poniżej, aby uzyskać wskazówki na początek:

Minimalny czas, przez który chcesz przeprowadzić test, to jeden pełny tydzień. Twój test musi zaczynać się i kończyć tego samego dnia, najlepiej o tej samej porze.

Dzieje się tak, ponieważ nawet jeśli masz 10 000 odwiedzających dziennie, Twoja witryna będzie doświadczać różnych zachowań użytkowników w różne dni tygodnia. Rozpoczynając i kończąc test tego samego dnia tygodnia, możesz wygładzić nietypowe zachowania i wzorce użytkowników.

Jest to niezwykle ważne, ponieważ pozwala kontrolować wahania ruchu i zachowania użytkowników z dnia na dzień.

Kilka słów ostrzeżenia:

• Unikaj rozpoczynania testu w piątek. Jeśli coś pójdzie nie tak, możesz nie zauważyć aż do poniedziałku.
• Rozpocznij testy rano. Z tego samego powodu powyżej staraj się nie rozpoczynać testów później w ciągu dnia.
• Nie przeprowadzaj testów w okresie świątecznym, ponieważ wahania ruchu i wzorce kupowania powodują utratę danych i unieważnienie testu.

Ogólnie rzecz biorąc, maksymalny czas, w którym chcesz przeprowadzić test A/B, to jeden miesiąc.

Przyczyny tego ograniczenia są oparte na alokacji zasobów.

Jeśli osiągnięcie minimalnej rentowności lub około 1000 odwiedzających zajmuje więcej niż miesiąc, musisz pomyśleć o przeprowadzeniu innego rodzaju testu.

Podsumowanie nakazów i zakazów:

Robić:

1. Znajdź swój dzienny ruch
2. Użyj numerów ruchu, aby określić długość testu
3. Rozpocznij i zatrzymaj test tego samego dnia tygodnia

Nie:

1. Rozpocznij test A/B w weekend
2. Przeprowadzaj test A/B dłużej niż miesiąc
3. Przeprowadź test A/B podczas wakacji
4. Rozpoczynanie i kończenie testów w różne dni, o różnych porach

Jak wygląda sukces testu A/B

Jeśli udało Ci się przebrnąć przez cały artykuł, gratulacje! Właśnie otrzymałeś przyspieszony kurs testowania A/B.

Zanim rozpoczniesz i skonfigurujesz swój pierwszy test A/B na swoim koncie Justuno, zapoznaj się z ostatnim studium przypadku wykonanym przez sprzedawcę biżuterii Shopify Plus, The GLD Shop.

W tym teście A/B The GLD Shop był w stanie zwiększyć konwersje o 300%!