A/B- und multivariate Tests meistern (Ultimate Guide)

Inzwischen wissen die meisten Vermarkter, dass sie A/B-Tests in ihren Prozess zur Entwicklung neuer Werbeaktionen und Werbung integrieren müssen.

Zu wissen, dass Sie A/B-Tests verwenden sollten, und zu wissen, wie man A/B-Tests durchführt, sind jedoch zwei verschiedene Ballspiele.

Die Welt der A/B-Tests kann verwirrend sein, da viele Leute Begriffe wie „A/B-Tests“, „A/B/n-Tests“ oder „multivariate Tests“ synonym verwenden.

Dies sind jedoch alles verschiedene Arten von Tests. Hier ist ein kurzer Überblick:

„A/B“- und „A/B/n“-Tests sind sehr ähnlich. Sie testen beide eine bestimmte Variablenänderung, um die Auswirkungen dieser Änderung zu sehen. Ein A/B-Test bedeutet, dass Sie zwei Versionen der Promo ausführen – normalerweise eine Kontrollversion und eine zweite Version mit der Änderung, die Sie testen möchten. Ein A/B/n-Test bedeutet, dass Sie mehrere Versionen der Promo ausführen – immer noch die eine spezifische Variable testen, aber mehrere Variationen dieser Variablenänderung ausführen. Zum Beispiel…

1. A/B-Test: Sie testen den Text auf Ihrem CTA-Button. Eine Version sagt "Anmelden!" die zweite Version sagt 'Join Now!'
2. A/B/n-Test: Sie testen die Farbe Ihres CTA-Buttons. Eine Version ist rot, die zweite Version ist blau, die dritte Version ist grün und so weiter.

Ein multivariater Test ist ein Test, der die Auswirkungen mehrerer Variablenänderungen gleichzeitig misst. Der Hinweis steckt schon im Namen: multi (viele) variate (Variablen). Zum Beispiel…

1. Sie testen gleichzeitig Variationen der Farbe UND des Textes der CTA-Schaltfläche.

In diesem Artikel behandeln wir, warum Sie A/B-Tests durchführen sollten, welche Arten von Tests Sie durchführen sollten und wann Sie Ihre A/B-Tests durchführen sollten. Springen wir rein!

Warum sollte ich einen A/B-Test durchführen?

Um einen erfolgreichen A/B-Test durchzuführen, müssen Sie die richtige Begründung und Absicht hinter dem Test haben.

Ein allgemeiner Grund für die Durchführung eines Tests ist die Optimierung für Conversions, aber Sie müssen tiefer und detaillierter argumentieren, wenn Sie erfolgreich sein möchten.

Lassen Sie uns auf die häufigsten Gründe für die Durchführung eines A/B-Tests eingehen.

1. Meine Werbung ist leistungsschwach

Dies ist der Hauptgrund, warum die meisten Vermarkter mit dem Testen beginnen.

Eine leistungsschwache Werbung ist ein echtes Problem für Ihren Umsatz und etwas, das Sie messen können.

Indem Sie A/B-Tests durchführen, können Sie die Details Ihrer Werbung optimieren, um ihre Effektivität schrittweise zu verbessern. Auf diese Weise können Sie Ihren Kunden ein besseres Erlebnis bieten und gleichzeitig Ihr Endergebnis verbessern.

2. Meine Markenrichtlinien haben sich geändert

Das passiert öfter als man denkt. Jedes Mal, wenn ein Unternehmen eine Markenerneuerung durchläuft, erfordern Werbeaktionen in der Regel völlig neue Designs und Inhalte.

Während A/B-Tests eine großartige Möglichkeit sind, diese Änderungen schnell umzusetzen, können sie auch dabei helfen, die Markenaktualisierung zu steuern.

Indem Sie verschiedene Farben, Wortwahl und Designstile mit A/B-Tests testen, können Sie dazu beitragen, die allgemeine Markenrichtung zu bestimmen, indem Sie echte Benutzerdaten darüber präsentieren, worauf Ihre Kunden am besten reagieren.

In diesem Fall würden Sie die neuen Designs nicht mit den Originalen vergleichen.

Bei einer Markenaktualisierung haben Sie normalerweise einen allgemeinen Leitfaden dafür, wohin die Markendesigns und die Stimme führen werden, aber Sie müssen noch die Details für Dinge wie Schriftart, Farbpalette usw. herausfinden. Sie fangen von vorne an und Ihre Tests sollten Ihre Erkenntnisse aus Ihrem bisherigen Beförderungserfolg widerspiegeln.

Bevor Sie beginnen…

Bevor Sie mit der Einrichtung Ihrer A/B-Tests beginnen, sollten Sie einige Dinge beachten. In erster Linie ein paar Fallstricke, die es zu vermeiden gilt…

Fallstrick Nr. 1: Werbeleistung nicht mit Branchen-Benchmarks vergleichen.

Natürlich möchten Sie, dass Ihre Werbung den „Durchschnitt“ übertrifft, aber wenn Ihre Werbung den Branchendurchschnitt bereits um mehr als 20 % übertrifft, ist es möglicherweise am besten, etwas anderes zu testen, um Ihre Ziele zu erreichen.

Die gute Nachricht ist, dass Ihre Werbung weit über Ihrer Konkurrenz liegt. Die schlechte Nachricht ist, dass Sie möglicherweise mehr schaden als nützen, wenn Sie A/B-Tests für diese Werbeaktion durchführen. Wenn die Werbeaktion bereits das Ideal Ihres Kunden ist, kann die Einführung von Variationen die Leistung beeinträchtigen.

Fallstrick Nr. 2: Misserfolg bei der Identifizierung eines messbaren KPI.

Wenn Sie „nur wollen, dass diese Werbeaktion besser abschneidet“, dann haben Sie diese Werbeaktion wahrscheinlich nicht an einen KPI gebunden, der sich auf das Endergebnis des Geschäftsziels auswirkt.

Um die Leistung einer Werbeaktion zu verbessern, müssen Sie die betroffenen KPIs im Auge behalten, damit Sie eine Änderung genau einschätzen können.

Wenn der angehängte KPI darin besteht, den durchschnittlichen Bestellwert zu erhöhen und Sie einen Test durchführen und erhöhte Engagements, aber einen verringerten durchschnittlichen Bestellwert sehen, sollte der Test nicht als Erfolg gewertet werden.

Die häufigsten KPIs im Zusammenhang mit Werbeaktionen sind:

1. Wechselkurs
2. Warenkorb-Abbruchrate
3. E-Mail-Erfassungsrate
4. Durchschnittlicher Bestellwert

Sie sollten festlegen, auf welchen KPI Sie abzielen, bevor Sie Tests starten, um sicherzustellen, dass Sie Änderungen richtig nachverfolgen können.

Was sollte IA/B testen?

Nachdem Sie nun die Grundlagen besser verstanden haben, können wir uns mit dem wichtigsten und am häufigsten missverstandenen Aspekt des Testens befassen – wie man einen zuverlässigen A/B-Test strukturiert.

Elemente einer Beförderung

1. CTA – Der Aufruf zum Handeln
2. Tag Line – Kopieren Sie, um die Aufmerksamkeit der Besucher zu erregen
3. Angebotstext – Der Text, der Ihr Angebot beschreibt
4. Angebotsbetrag – Der konkrete Wert des Angebots
5. Bild-Asset – Bild, das verwendet wird, um ein Angebot, eine Marke usw. darzustellen.
6. Anzahl der Schritte – Wie viele Schritte benötigt ein Besucher, um die Interaktion abzuschließen

Oben sind die Hauptelemente einer Werbeaktion und damit Ihre wichtigsten Testvariablen aufgeführt.

Angebotskopie und Angebotsbetrag sind getrennt, da Sie den spezifischen Angebotsbetrag ändern können, ohne die umgebende Kopie tatsächlich zu ändern.

Hier ist ein Beispiel:

• 'Beginnen Sie noch heute, um 10 % Rabatt auf Ihr Abonnement zu erhalten!'
• 'Beginnen Sie noch heute, um 15 % Rabatt auf Ihr Abonnement zu erhalten!'

Im obigen Beispiel ist die „Angebotskopie“ der Text, in den Ihr „Angebotsbetrag“ eingebettet ist. Diese Unterscheidung ist wichtig, wenn Sie mit der Erstellung tatsächlicher Tests fortfahren.

Der Angebotsbetrag wird fast immer das größte Gewicht haben. Wenn Sie praktisch darüber nachdenken, können Sie sehen, warum.

Möchten Sie zum Beispiel lieber 5 $ Rabatt auf eine Premium-Autowäsche oder eine KOSTENLOSE Premium-Autowäsche?

Wenn alle anderen Dinge gleich sind, werden mehr Menschen eher bereit sein, die kostenlose Autowäsche zu bekommen, als nur 5 $ Rabatt.

So richten Sie einen A/B-Test ein

1. KPI identifizieren

Der wichtigste erste Schritt bei der Einrichtung eines Tests zur Optimierung von Conversions besteht darin, den KPI zu identifizieren, den Sie beeinflussen möchten.

Dies könnte die Reduzierung des Warenkorbabbruchs, die Erhöhung der E-Mail-Anmeldungen, die Erhöhung des Engagements oder alle standortspezifischen KPIs sein, die Sie und Ihr Team identifiziert haben.

Sobald Sie Ihren KPI identifiziert haben, nehmen Sie die Komponentenliste von oben und beginnen Sie, Hypothesen darüber zu formulieren, welche dieser Elemente Ihnen am besten dabei helfen, den von Ihnen angestrebten KPI zu verbessern.

Lassen Sie uns dies anhand eines Beispiels skizzieren, damit Sie sehen können, wie dies gemacht wird:

In diesem Beispiel ist viel los und es gibt viel zu entpacken, also fangen wir damit an, es anhand der Liste von oben aufzuschlüsseln.

1. Angebotsbetrag – Bei dieser speziellen Aktion werden tatsächlich zwei verschiedene Angebote angeboten – 20 % Rabatt und kostenloser Versand.
2. Anzahl der Schritte – 1
3. CTA – Code verwenden.
4. Bild-Asset – Keine
5. Slogan – Sofortige Einsparungen
6. Angebotskopie – Nehmen Sie jetzt (Angebotsbetrag 1) die Artikel in Ihrem Warenkorb ab + (Angebotsbetrag 2)

Die visuelle Aufschlüsselung jedes Teils der Werbeaktion gibt Ihnen ein klares Verständnis der verschiedenen beweglichen Teile und ermöglicht es Ihnen, Ihre Tests zu priorisieren.

Um bei diesem Beispiel zu bleiben, verwenden wir den durchschnittlichen Bestellwert als unseren wichtigsten KPI. Dies ist ein klarer, messbarer KPI, der sich sicherlich auf das Endergebnis des Unternehmens auswirken wird.

2. Identifizieren und hypothetisieren

Als nächstes müssen Sie die Elemente identifizieren, von denen Sie glauben, dass sie den größten Einfluss auf Ihren identifizierten KPI haben werden. In diesem Beispiel verwenden wir Angebotskopie und Angebotsbetrag.

Für jede Beförderung ist es wichtig, Ihre Hypothese aufzuschreiben, damit Sie Ihre Denkweise verfolgen können.

Hier ist eine Beispielhypothese:

Ich glaube, dass die Änderung des Angebotsexemplars dahingehend, dass es einen Mindestbestellwert enthält, und die Erhöhung der Sichtbarkeit der Angebotsbeträge den durchschnittlichen Bestellwert erhöhen werden.

Wie Sie sehen können, ist eine typische Hypothese nicht übermäßig komplex, sondern sehr spezifisch in Bezug auf Aktionen und Ergebnisse.

3. Erstellen Sie eine Variation

Nachdem Sie nun eine Hypothese formuliert und die zu testenden Elemente identifiziert haben, können Sie damit beginnen, Variationen auf der Grundlage dieser Elemente zu erstellen.

Glücklicherweise ist dieser Teil bei Justuno normalerweise sehr einfach. Sehen Sie sich die folgende Variante an:

Wenn Sie Ihre A/B-Tests einrichten, ist es am besten, Variationen jeweils nur an einem Element zu testen. Im obigen Beispiel werden Sie feststellen, dass sich nur die Angebotskopie geändert hat, während der Angebotsbetrag gleich bleibt.

Theoretisch sollte jeder Benutzer, der auf dieses Popup-Fenster blickt, sofort die Grundlagen der Aktion verstehen: 20 % Rabatt, kostenloser Versand, ich muss Sachen im Wert von 100 $ kaufen.

In diesem Beispiel haben wir „sofortige Einsparungen“ auch visuell weniger priorisiert, da dieser Text für das Ziel weitgehend irrelevant ist.

4. Testen und iterieren

Nachdem Sie nun Ihre Variante haben, können Sie Ihren Test einrichten.

Die Zeitdauer, die Sie einen Test durchführen sollten, hängt ganz davon ab, wie lange es dauern wird, bis die statistische Signifikanz erreicht ist – was eine schicke Art zu sagen ist, „die Daten, die Sie erhalten, sind zu 90 % zuverlässig“.

In den meisten Fällen benötigen Sie mindestens 1.200 Abdrücke , um sich auf Ihre Ergebnisse verlassen zu können.

Wann sollte ein A/B-Test durchgeführt werden?

Einer der wichtigsten Teile eines jeden Tests ist es, herauszufinden, wann es angebracht ist, zu testen.

Es ist leicht zu sagen: „Immer“. Sie sollten immer testen.

Ich selbst verfalle manchmal noch in diese Denkweise, aber vor jedem Test ist es wichtig, einen Schritt zurückzutreten und sich ein paar Fragen zu stellen:

Wie viele Besucher werden diese Aktion in der nächsten Woche sehen? Zwei Wochen? Monat?

Die Antwort auf diese Frage ist unglaublich wichtig. In einer idealen Welt benötigen Sie einige tausend Datenpunkte (dh Besucher, die Ihren Test tatsächlich durchlaufen).

Wie oben erwähnt, sollte Ihr Test mindestens so lange laufen, bis er 1.200 Impressionen hat, um sich auf die Ergebnisse einigermaßen verlassen zu können.

Vor diesem Hintergrund besteht Ihr erster Schritt darin, herauszufinden, wie viele Besucher voraussichtlich pro Tag durch Ihren Test geleitet werden.

Diese Nummer sollte leicht von Ihrem Google Analytics- oder Justuno-Dashboard zu erhalten sein, wenn Sie Ihr Analytics-Konto verknüpft haben.

Wenn Sie sich Ihre Zugriffszahlen ansehen, ist es wichtig, die Art der von Ihnen durchgeführten Werbeaktion und die Ausrichtungsregeln für die Werbeaktion zu berücksichtigen.

Wenn Sie beispielsweise eine Exit-Intent-Werbeaktion durchführen, können Sie davon ausgehen, dass jeder Besucher Ihrer Website dies sieht. Wenn Sie eine Bannerwerbung durchführen, die nur auf der Startseite angezeigt wird, sollten Sie NUR die Besucherdaten für Ihre Startseite und nicht für Ihre gesamte Website anzeigen.

Mit diesen allgemeinen Regeln können Sie in Ihr Google Analytics gehen und sich die Seite ansehen, auf der Ihre Werbung erscheinen wird, und die gewünschten Informationen finden. Gehen Sie zur Registerkarte Zielgruppe und legen Sie den Datumsbereich so fest, dass die letzten 3-6 vollen Monate angezeigt werden, und sortieren Sie dann nach Woche. Jeder auf dem Diagramm verfügbare Datenpunkt ist ein 7-Fenster in Ihren Verkehr.

Geben Sie jeden der Datenpunkte in eine Tabelle ein (Google Sheets oder Excel funktionieren genauso gut) und mitteln Sie dann diese Zahlen. Sie haben jetzt einen ziemlich genauen durchschnittlichen wöchentlichen Verkehrsfluss für Ihre Website.

Sobald Sie Ihre durchschnittliche Besucherzahl pro Tag haben, können Sie die Mindestzeit berechnen, die Sie für die Ausführung Ihres Tests benötigen, um 1.200 Impressionen zu erreichen.

In unserer praktischen Tabelle unten finden Sie Richtlinien für den Einstieg:

Die Mindestdauer, für die Sie einen Test durchführen möchten, beträgt eine volle Woche. Ihr Test muss am selben Tag und idealerweise zur selben Zeit beginnen und enden.

Denn selbst wenn Sie 10.000 Besucher pro Tag haben, wird Ihre Website an verschiedenen Wochentagen unterschiedliches Nutzerverhalten erfahren. Indem Sie Ihren Test am selben Wochentag starten und beenden, können Sie dazu beitragen, ungewöhnliche Benutzerverhalten und -muster auszugleichen.

Dies ist von entscheidender Bedeutung, da Sie damit Schwankungen im Datenverkehr und im Benutzerverhalten von Tag zu Tag kontrollieren können.

Ein paar Worte der Warnung:

• Vermeiden Sie es, einen Test an einem Freitag zu beginnen. Sollte etwas schiefgehen, merken Sie es vielleicht erst am Montag.
• Beginnen Sie morgens mit Ihren Tests. Versuchen Sie aus dem gleichen Grund, Ihre Tests nicht später am Tag zu beginnen.
• Führen Sie Tests nicht während eines Feiertags durch, da die Schwankungen des Verkehrs und des Kaufverhaltens Ihre Daten beeinträchtigen und den Test ungültig machen.

Im Allgemeinen beträgt die maximale Zeit, in der Sie einen A/B-Test durchführen möchten, einen Monat.

Die Gründe für diese Obergrenze basieren auf der Ressourcenzuweisung.

Wenn es länger als einen Monat dauert, bis die Mindestlebensfähigkeit oder etwa 1.000 Besucher erreicht sind, müssen Sie über eine andere Art von Test nachdenken.

Zusammenfassung der Dos and Donts:

Tun:

1. Finden Sie Ihren täglichen Traffic
2. Verwenden Sie Verkehrszahlen, um die Dauer des Tests zu bestimmen
3. Beginnen und beenden Sie Ihren Test am selben Wochentag

Nicht:

1. Starten Sie an einem Wochenende einen A/B-Test
2. Führen Sie Ihren A/B-Test länger als einen Monat durch
3. Führen Sie Ihren A/B-Test während eines Urlaubs durch
4. Beginnen und beenden Sie Ihre Tests an verschiedenen Tagen und zu unterschiedlichen Zeiten

Wie der A/B-Testerfolg aussieht

Wenn Sie es durch diesen ganzen Artikel geschafft haben, herzlichen Glückwunsch! Sie haben gerade einen Crashkurs in A/B-Testing erhalten.

Bevor Sie loslegen und Ihren ersten A/B-Test in Ihrem Justuno-Konto einrichten, werfen Sie einen Blick auf eine aktuelle Fallstudie, die vom Shopify Plus-Schmuckeinzelhändler The GLD Shop durchgeführt wurde.

In diesem A/B-Test konnte The GLD Shop die Conversions um 300 % steigern!