Dlaczego marketerzy powinni testować aplikacje mobilne A/B

Stworzenie firmowej aplikacji mobilnej może być skutecznym sposobem dla marketerów na maksymalizację zasięgu wśród wartościowych odbiorców mobilnych. Ale ponieważ aplikacje mobilne są tak nową taktyką, marketerzy wciąż próbują wymyślić, jak najlepiej poradzić sobie z tym zasobem reklamowym.

Wyzwania obejmują zarówno zdobywanie pobrań poprzez kampanie promujące instalacje aplikacji mobilnych, jak i po prostu stworzenie i uruchomienie aplikacji. Chociaż odbiorców, którzy zdecydują się na interakcję z marką w aplikacji mobilnej, można uznać za kluczowe dla firmy, zwłaszcza że zadali sobie trud z pobraniem aplikacji. A dane, które można uzyskać od tej dedykowanej grupy odbiorców aplikacji, mogą być bezcenne.

Jednak Nancy Hua, dyrektor generalna Apptimize, zajmująca się zarządzaniem doświadczeniami mobilnymi, wcześniej zwróciła uwagę Marketing Dive, że wielu marketerów popełnia błąd, spędzając zbyt dużo czasu na poszerzaniu bazy użytkowników aplikacji, zamiast pracować nad ulepszaniem aplikacji. Ta poprawa może pochodzić z opinii użytkowników, analizowania danych użytkowników aplikacji i tego, co może być najskuteczniejszym sposobem na ulepszenie aplikacji, testów A/B.

Hua powiedział, że innym cennym aspektem testowania aplikacji firmowych, o którym marki powinny pamiętać, jest przesyłanie wiadomości w aplikacji.

„Wiadomości są kluczowym elementem korzystania z aplikacji i wymagają mądrych decyzji dotyczących czasu i treści” – powiedziała Marketing Dive. „Kontekst, w którym wyświetlasz użytkownikowi komunikat w aplikacji, może mieć ogromny wpływ na wrażenia użytkownika”.

Ten kontekst może obejmować:

• Czy to wtedy, gdy normalnie przeglądaliby internet?
• A może wtedy, gdy normalnie byliby gotowi coś kupić?
• Czy są w ruchu, czy są w łóżku?
• Co robili, kiedy ostatni raz widzieli ten widok?

„Te pytania mogą informować o tym, w jaki sposób łączysz się z użytkownikiem i dostarczasz odpowiednie treści, a także mogą stanowić różnicę między nienawidzeniem przez użytkownika a kochaniem aplikacji” – wyjaśnił Hua.

Testowanie wiadomości w aplikacji – studium przypadku

Mobilna aplikacja randkowa Paktor, skierowana do rynku azjatyckiego, przeprowadziła testy wiadomości w aplikacji, zwiększając średni przychód na użytkownika o 17%. Anmol Mohan, szef działu analizy danych w Paktor, powiedział Marketingowi, że firma chciała przetestować prowadzenie subskrypcji, wysyłając wyskakujące okienka do użytkowników, którzy obejrzeli ponad 10 potencjalnych dopasowań.

Mohan powiedział, że test miał dwa główne powody.

Po pierwsze, aby edukować użytkowników o korzyściach płynących z członkostwa, które mogą wyróżnić ich profile. Skorzystaj również z okazji, aby opowiedzieć im o niedawno uruchomionym Programie Gwarancyjnym Paktor, dzięki któremu użytkownicy kupujący subskrypcje trzymiesięczne i sześciomiesięczne uzyskują daty offline. Po drugie, zwiększenie zakupów subskrypcji poprzez wyróżnienie ich dla wszystkich użytkowników (wcześniej stronę zakupu subskrypcji odwiedzało tylko 60-70% użytkowników).

Mohan dodał, że Paktor regularnie przeprowadza testy A/B na swoim produkcie – zespół programistów wprowadza średnio co tydzień nową funkcję – a także na swoich działaniach marketingowych, gdzie wszystkie kampanie są testowane pod kątem A/B.

„W przypadku kampanii e-mailowych testujemy obrazy, kreacje, a nawet tematy. Nasze zaawansowane algorytmy predykcyjne identyfikują możliwości różnych ofert, które mamy w naszym repozytorium. Regularnie aktualizujemy pulę ofert i precyzyjnie polecamy je odpowiednim użytkownikom” – powiedział Mohan.

Powiedział, że jeśli chodzi o testowanie aplikacji mobilnych, proces Paktor obejmuje szereg kroków, zaczynając od identyfikacji możliwości poprzez przejrzenie danych – w tym przypadku dotyczących różnych wyskakujących okienek i wiadomości. Zespół UX następnie opracowuje koncepcję, która może osiągnąć określone cele na podstawie tych danych. W międzyczasie zespół programistów pracuje nad kreacjami generowanymi przez zespół projektowy, a zespół klienta wprowadza tę funkcję w najnowszej wersji aplikacji.​

Paktor używa Apptimize do włączania funkcji, a narzędzie obsługuje podział użytkowników na grupy kontrolne i docelowe. Gdy test osiągnie znaczną ilość danych, są one gromadzone w celu określenia wyników testu. Mając te wyniki pod ręką, zespół produktu debiutuje edytowaną funkcją opartą na zaleceniach zespołu danych.

Wartość zbierania danych w testowaniu aplikacji

Częścią każdego testu jest tworzenie hipotezy i protokołu testowego.

W tych dwóch punktach Mohan powiedział, że zespół zajmujący się danymi zajmuje się hipotezą i konfiguracją eksperymentu, odkrywając obszary, w których można ulepszyć aplikację. Następnie zespół ds. produktu opisuje nową funkcję do przetestowania, a zespół danych określa procedurę. Pomaga to zespołowi programistycznemu zrozumieć, jak kodować funkcje i odmiany. Zespół ds. danych zapewnia również wytyczne i metryki do analizy wyników testów.

Po rozpoczęciu testu dane są gromadzone w głównych obszarach metryk, w tym monetyzacji, zaangażowania i retencji na potrzeby testu wiadomości w aplikacji.

„Na podstawie obserwacji staramy się opracować logikę biznesową stojącą za różnicą lub obojętnością, którą obserwujemy. Następnie próbujemy zweryfikować logikę za pomocą oddzielnych punktów danych. Jeśli wszystko się ułoży, decydujemy o losie tej funkcji” – wyjaśnił Mohan.

Testowanie wiąże się jednak z wyzwaniami. Niektóre z opisanych przez Mohana przeszkód to nieodczuwalność testowanej cechy przez użytkowników w zamierzony sposób oraz wykryte w teście krótkoterminowe różnice, które nie zawsze przekładają się na długoterminowe korzyści. W przypadku pierwszego wyzwania może to oznaczać wypaczone wyniki, które utrudniają zrozumienie podstawowej przyczyny ustaleń.

W przypadku testu wiadomości w aplikacji, o którym mówił Mohan, użytkownikom prezentowano różne wiadomości na podstawie wskazanych upodobań i niechęci. Istniało również kilka kluczowych wskaźników wydajności w każdym z trzech głównych obszarów metryk wybranych do testu:

1. Monetyzacja – życiowa wartość klienta, średni przychód na użytkownika, średni przychód na płacącego użytkownika, współczynnik konwersji
2. Zaangażowanie – czas trwania sesji, liczba sesji, swipes, lajki, antypatie, poziomy atrakcyjności, poziomy życzliwości
3. Retencja – aktywni użytkownicy, nieaktywni użytkownicy, reaktywowani użytkownicy, 1-dniowa/3-dniowa/7-dniowa retencja okienkowa, retencja MoM

W tym teście Paktor odnotował 10,35% wzrost subskrypcji. I chociaż wyskakujące komunikaty spowodowały spadek zakupów a la carte, to i tak doprowadziło to do 17% wzrostu średniego przychodu na użytkownika.

Hua z Apptimize twierdzi, że takie testy, jak ten, który Paktor przeprowadził z komunikatorami w aplikacji, są nieocenione, biorąc pod uwagę, jak osobisty i wyróżniający się telefon komórkowy stał się dla odbiorców. „Mobilność wymaga najwięcej testów, ponieważ telefon komórkowy jest najbardziej skomplikowanym i krytycznym doświadczeniem dla użytkowników” – powiedziała.

Aby uzyskać jak największą wartość, Hua zaleca rozpoczęcie od początku ścieżki od przetestowania wprowadzania na pokład. A cel końcowy?

„Zaangażuj użytkownika od samego początku, gdy jest w najwyższym punkcie ciekawości i podekscytowania Twoją aplikacją, jednocześnie sceptycznie podchodząc do jej wartości” – powiedziała.