Warum Vermarkter mobile Apps A/B-testen sollten

Das Erstellen einer mobilen Unternehmens-App kann für Vermarkter eine effektive Möglichkeit sein, ihre Reichweite bei der wertvollen mobilen Zielgruppe zu maximieren. Da mobile Apps jedoch eine so neue Taktik sind, versuchen Vermarkter immer noch herauszufinden, wie sie mit diesem Werbemittel am besten umgehen können.

Die Herausforderungen reichen von der Gewinnung von Downloads durch Kampagnen zur Installation mobiler Apps bis hin zur einfachen Erstellung und Einführung der App. Obwohl Zielgruppen, die sich dafür entscheiden, mit der Marke über eine mobile App zu interagieren, als Kern des Unternehmens angesehen werden können, zumal sie sich die Mühe gemacht haben, die App herunterzuladen. Und die Daten, die von dieser dedizierten App-Zielgruppe abgeleitet werden können, können von unschätzbarem Wert sein.

Nancy Hua, CEO des Mobile Experience Management-Unternehmens Apptimize, wies jedoch zuvor gegenüber Marketing Dive darauf hin, dass viele Vermarkter den Fehler machen, zu viel Zeit damit zu verbringen, die Benutzerbasis einer App zu erweitern, anstatt an der Verbesserung der App zu arbeiten. Diese Verbesserung kann aus Benutzerfeedback, der Analyse von App-Benutzerdaten und der möglicherweise leistungsstärksten Methode zur Verbesserung der App, A/B-Tests, resultieren.

Hua sagte, dass ein weiterer wertvoller Aspekt beim Testen von Unternehmens-Apps, den Marken im Auge behalten sollten, das In-App-Messaging ist.

„Messaging ist ein wichtiger Teil des App-Erlebnisses und erfordert kluge Entscheidungen in Bezug auf Timing und Inhalt“, sagte sie gegenüber Marketing Dive. „Der Kontext, in dem Sie dem Benutzer die In-App-Nachricht zeigen, kann einen dramatischen Einfluss auf die Benutzererfahrung haben.“

Dieser Kontext kann Folgendes umfassen:

• Ist es, wenn sie normalerweise surfen würden?
• Oder ist es, wenn sie normalerweise bereit wären, etwas zu kaufen?
• Sind sie unterwegs oder liegen sie im Bett?
• Was haben sie gemacht, als sie diese Aussicht das letzte Mal gesehen haben?

„Diese Fragen können Aufschluss darüber geben, wie Sie sich mit Ihren Benutzern verbinden und relevante Inhalte liefern, und den Unterschied zwischen Ihren Benutzern ausmachen, die Ihre App hassen oder lieben“, erklärte Hua.

In-App-Messaging-Tests – eine Fallstudie

Die mobile Dating-App Paktor, die auf den asiatischen Markt abzielt, hat In-App-Messaging-Tests durchgeführt und es geschafft, den durchschnittlichen Umsatz pro Benutzer um 17 % zu steigern. Anmol Mohan, Leiter der Datenanalyse bei Paktor, sagte Marketing, das Unternehmen wollte Fahrabonnements testen, indem es Popup-Nachrichten an Benutzer sendete, die mehr als 10 potenzielle Spiele angesehen hatten.

Mohan sagte, dass es zwei Hauptgründe für den Test gab.

Erstens, um Benutzer über die Vorteile der Mitgliedschaft aufzuklären, die dazu beitragen können, dass sich ihre Profile abheben. Nutzen Sie auch die Gelegenheit, sie über das kürzlich gestartete Paktor-Garantieprogramm zu informieren, das sicherstellt, dass Benutzer, die dreimonatige und sechsmonatige Abonnements kaufen, Offline-Daten erhalten. Und zweitens, um die Abonnementkäufe zu erhöhen, indem sie für alle Benutzer hervorgehoben werden (vorher besuchten nur 60-70 % der Benutzer die Abonnementkaufseite).

Mohan fügte hinzu, dass Paktor regelmäßig A/B-Tests für sein Produkt einsetzt – das Entwicklungsteam führt durchschnittlich jede Woche eine neue Funktion ein – sowie für sein Marketing, wobei alle Kampagnen A/B-Tests unterzogen werden.

„Bei E-Mail-Kampagnen testen wir Bilder, Motive und sogar Betreffzeilen. Unsere fortschrittlichen Vorhersagealgorithmen identifizieren Möglichkeiten verschiedener Angebote, die wir in unserem Repository haben. Wir aktualisieren den Angebotspool regelmäßig und empfehlen ihn gezielt geeigneten Nutzern“, so Mohan.

Für das Testen mobiler Apps, sagte er, umfasst der Prozess von Paktor eine Reihe von Schritten, beginnend mit der Identifizierung von Möglichkeiten durch Betrachtung der Daten – in diesem Fall über verschiedene Pop-up-Bildschirme und Nachrichten. Das UX-Team entwickelt dann ein Konzept, mit dem auf Basis dieser Daten definierte Ziele erreicht werden können. In der Zwischenzeit arbeitet das Entwicklungsteam an Creatives, die vom Designteam erstellt wurden, und das Kundenteam führt die Funktion mit der neuesten Version der App ein

Paktor verwendet Apptimize, um das Feature einzuschalten, und das Tool übernimmt die Aufteilung der Benutzer in Kontroll- und Zielgruppen. Nachdem der Test eine signifikante Datenmenge erreicht hat, werden diese gesammelt, um die Testergebnisse zu bestimmen. Mit diesen Ergebnissen stellt das Produktteam die bearbeitete Funktion basierend auf den Empfehlungen des Datenteams vor.

Der Wert der Datenerfassung beim App-Testen

Ein Teil jedes Tests besteht darin, eine Hypothese und ein Testprotokoll zu erstellen.

Zu diesen beiden Punkten sagte Mohan, dass das Datenteam die Hypothesen und den Versuchsaufbau handhabt, indem es Bereiche aufdeckt, in denen die App verbessert werden könnte. Anschließend beschreibt das Produktteam das zu testende neue Feature und das Datenteam definiert die Vorgehensweise. Dies hilft dem Entwicklungsteam zu verstehen, wie Funktionen und Variationen codiert werden. Das Datenteam stellt auch Richtlinien und Metriken für die Analyse der Testergebnisse bereit.

Sobald der Test begonnen hat, werden Daten in den wichtigsten Metrikbereichen gesammelt, einschließlich Monetarisierung, Engagement und Bindung für den In-App-Messaging-Test.

„Basierend auf Beobachtungen versuchen wir, eine Geschäftslogik hinter dem Unterschied oder der Gleichgültigkeit zu entwickeln, die wir beobachten. Wir versuchen dann, die Logik durch separate Datenpunkte zu verifizieren. Wenn alles stimmt, entscheiden wir über das Schicksal dieser Funktion“, erklärte Mohan.

Das Testen ist jedoch mit Herausforderungen verbunden. Zu den von Mohan beschriebenen Hürden gehören, dass die getestete Funktion von den Benutzern nicht in der beabsichtigten Weise wahrgenommen wird, und kurzfristige Unterschiede, die durch den Test aufgedeckt werden, die sich nicht immer in langfristigen Vorteilen niederschlagen. Bei der ersten Herausforderung kann es zu verzerrten Ergebnissen kommen, die es schwierig machen, die zugrunde liegende Ursache der Ergebnisse zu verstehen.

Für den von Mohan besprochenen In-App-Messaging-Test wurden den Benutzern basierend auf ihren angegebenen Vorlieben und Abneigungen unterschiedliche Nachrichten präsentiert. Es gab auch eine Reihe von Schlüsselleistungsindikatoren in jedem der drei für den Test ausgewählten Hauptmetrikbereiche:

1. Monetarisierung – Customer Lifetime Value, durchschnittlicher Umsatz pro Nutzer, durchschnittlicher Umsatz pro zahlendem Nutzer, Konversionsrate
2. Engagement – ​​Sitzungsdauer, Anzahl der Sitzungen, Swipes, Vorlieben, Abneigungen, Attraktivitätsstufen, Freundlichkeitsstufen
3. Aufbewahrung – aktive Benutzer, inaktive Benutzer, reaktivierte Benutzer, 1-tägige/3-tägige/7-tägige Fensteraufbewahrung, MoM-Aufbewahrung

Bei diesem Test verzeichnete Paktor einen Anstieg der Abonnements um 10,35 %. Und obwohl die Popup-Meldungen zu einem Rückgang der À-la-carte-Käufe führten, führten sie dennoch zu einer Steigerung des durchschnittlichen Umsatzes pro Benutzer um 17 %.

Hua von Apptimize sagt, dass solche Tests, wie der von Paktor mit In-App-Messaging durchgeführte, von unschätzbarem Wert sind, wenn man bedenkt, wie persönlich und prominent das Handy für das Publikum geworden ist. „Für Mobilgeräte sind die meisten Tests erforderlich, da Mobilgeräte die komplizierteste und kritischste Erfahrung für Benutzer sind“, sagte sie.

Um den größtmöglichen Nutzen zu erzielen, empfiehlt Hua, am oberen Ende des Trichters zu beginnen und das Onboarding zu testen. Und das Endziel?

„Fesseln Sie den Benutzer von Anfang an, wenn er am höchsten Punkt der Neugier und Begeisterung für Ihre App ist, während er skeptisch ist, was der Wert ist“, sagte sie.