マスターA/Bおよび多変量テスト（究極のガイド）

公開: 2018-07-27

今では、ほとんどのマーケターは、新しいプロモーションや広告を開発するためのプロセスにA/Bテストを統合する必要があることを知っています。

ただし、A / Bテストを使用する必要があることを知っていることと、A / Bテストを実行する方法を知っていることは、2つの異なる球技です。

A / Bテストの世界は混乱を招く可能性があり、多くの人が「A / Bテスト」、「A / B / nテスト」、「多変量テスト」などの用語を同じ意味で使用しています。

ただし、これらはすべて異なるタイプのテストです。ここに簡単な要約があります：

「A/B」と「A/B/n」のテストは非常に似ています。どちらも、1つの特定の変数変更をテストして、その変更の影響を確認しています。 A / Bテストとは、2つのバージョンのプロモーションを実行していることを意味します。通常は、コントロールと、テストする変更を含む2番目のバージョンです。 A / B / nテストは、プロモーションの複数のバージョンを実行していることを意味します。1つの特定の変数をテストしますが、その変数変換の複数のバリエーションを実行します。例えば…

A / Bテスト： CTAボタンのテキストをテストしています。あるバージョンには「サインアップ！」と書かれています。 2番目のバージョンには「今すぐ参加」と書かれています。
A / B / nテスト： CTAボタンの色をテストしています。 1つのバージョンは赤、2番目のバージョンは青、3番目のバージョンは緑というように続きます。

多変量テストは、複数の変数の変更の影響を一度に測定するテストです。ヒントは名前自体にあります：multi（多くの）変量（変数）。例えば…

CTAボタンの色とテキストのバリエーションを同時にテストしています。

この記事では、A / Bテストを実行する必要がある理由、実行する必要があるテストの種類、およびA/Bテストを実行するタイミングについて説明します。飛び込みましょう！

なぜA/Bテストを実行する必要があるのですか？

A / Bテストを成功させるには、テストの背後に適切な理由と意図が必要です。

テストを実行する主な理由は、変換を最適化することですが、成功するには、より深く詳細な推論が必要です。

A/Bテストを実行する最も一般的な理由を詳しく見ていきましょう。

1.私のプロモーションは成果を上げていません

これが、ほとんどのマーケターがテストに向けたプロセスを開始する最大の理由です。

成果の低いプロモーションは、収益に対する真の懸念事項であり、測定できるものです。

A / Bテストを実行することで、プロモーションの詳細を微調整して、プロモーションの効果を段階的に向上させることができます。これにより、顧客により良いエクスペリエンスを提供すると同時に、収益を向上させることができます。

2.ブランドガイドラインが変更されました

これはあなたが思っているよりも頻繁に起こります。会社がブランドの刷新を行うときはいつでも、通常、プロモーションにはまったく新しいデザインとコンテンツが必要になります。

A / Bテストは、これらの変更を迅速に実装するための優れた方法ですが、ブランドの刷新を導くのにも役立ちます。

さまざまな色、言い回し、デザインスタイルをA / Bテストでテストすることで、顧客が最もよく反応するものの実際のユーザーデータを提示することで、ブランド全体の方向性を知らせることができます。

この場合、元のデザインに対して新しいデザインをテストすることはありません。

ブランドの刷新では、通常、ブランドのデザインと声がどこに向かうかについての一般的なガイドがありますが、フォント、カラーパレットなどの詳細を理解する必要があります。最初からやり直して、テストは、以前のプロモーションの成功からの学習を反映する必要があります。

あなたが始める前に…

A / Bテストの設定を開始する前に、覚えておくべきことがいくつかあります。主に、避けるべきいくつかの落とし穴…

落とし穴＃1：業界のベンチマークに対してプロモーションのパフォーマンスをチェックしない。

もちろん、プロモーションのパフォーマンスを「平均」よりも高くしたいのですが、プロモーションがすでに業界平均を20％以上上回っている場合は、目標を達成するために他の何かをテストするのが最善の場合があります。

良いニュースは、あなたの昇進があなたの競争をはるかに上回っていることです。悪いニュースは、このプロモーションでA / Bテストを実行することで、良いことよりも害を及ぼす可能性があることです。プロモーションがすでに顧客の理想である場合、バリエーションを導入するとパフォーマンスが低下する可能性があります。

落とし穴＃2：測定可能なKPIを特定できない。

「このプロモーションをより効果的にしたい」場合は、そのプロモーションを最終的なビジネス目標に影響を与えるKPIに結び付けていない可能性があります。

プロモーションのパフォーマンスを向上させるには、変更を正確に評価できるように、影響を受けるKPIを監視する必要があります。

添付のKPIが平均注文値を増やすことであり、テストを実行してエンゲージメントが増加したが平均注文値が減少した場合、テストは成功と見なされるべきではありません。

プロモーションに添付される最も一般的なKPIは次のとおりです。

変換速度
カート放棄率
メールキャプチャ率
平均注文額

テストを開始する前に、ターゲットとするKPIを決定して、変更を適切に追跡できることを確認する必要があります。

IA / Bは何をテストする必要がありますか？

基本をよりよく理解できたので、テストの最も重要で最も一般的に誤解されている側面、つまり信頼性の高いA/Bテストを構築する方法を掘り下げることができます。

プロモーションの要素

CTA –行動の呼びかけ
タグライン–コピーして訪問者の注意を引く
オファーのコピー–オファリングを説明するコピー
オファー額–オファーの具体的な価値
画像アセット–オファー、ブランドなどを表すために使用される画像。
ステップ数–訪問者がエンゲージメントを完了するのに必要なステップ数

上記はプロモーションの主要な要素であり、したがって主なテスト変数です。

オファーコピーとオファー金額は、周囲のコピーを実際に変更せずに特定のオファー金額を変更できるため、分離されています。

次に例を示します。

「今すぐ開始して、サブスクリプションを10％オフにしてください！」
「今すぐ開始して、サブスクリプションを15％オフにしてください！」

上記の例では、「オファーコピー」は「オファー量」がラップされているテキストです。この区別は、実際のテストの作成に進むときに覚えておくことが重要です。

オファー額は、ほとんどの場合、最も重要な重みを持ちます。これを実際に考えれば、その理由がわかります。

たとえば、プレミアム洗車を5ドル引き、またはプレミアム洗車を無料にしますか？

他のすべての条件が同じであれば、たった5ドルの割引よりも、より多くの人が無料の洗車を喜んで受けるようになります。

A/Bテストの設定方法

1.KPIを特定する

コンバージョンを最適化するためのテストを設定する際の最も重要な最初のステップは、影響を与えるKPIを特定することです。

これは、カートの放棄を減らし、電子メールのサインアップを増やし、エンゲージメントを増やし、またはあなたとあなたのチームが特定したサイト固有のKPIを増やす可能性があります。

KPIを特定したら、上記のコンポーネントリストを取得し、これらの要素のどれがターゲットとするKPIの改善に最も役立つかについての仮説を立て始めます。

これがどのように行われるかを確認できるように、例を使用してこれをスケッチしてみましょう。

この例では、多くのことが進行中であり、開梱することがたくさんあるので、上からのリストを使用してそれを分解することから始めましょう。

オファー額–この特定のプロモーションでは、実際には2つの異なるオファーがプッシュされています。20％オフと送料無料です。
ステップ数– 1
CTA –コードを使用します。
画像アセット–なし
タグライン–即時節約
オファーコピー–今すぐカート内のアイテムを（オファー金額1）取り除いてください+（オファー金額2）

プロモーションの各部分を視覚的に分類すると、さまざまな可動部分すべてを明確に理解でき、テストに優先順位を付けることができます。

この例に固執して、メインのKPIとして平均注文値を使用しましょう。これは明確で測定可能なKPIであり、会社の収益に確実に影響を与えます。

2.特定して仮説を立てる

次に、特定したKPIに最も大きな影響を与えると思われる要素を特定する必要があります。この例では、オファーコピーとオファー金額を使用します。

プロモーションごとに、自分の考え方を追跡できるように、仮説を書き留めておくことが重要です。

仮説の例を次に示します。

オファーコピーを変更して最小注文額を含め、オファー金額の可視性を高めると、平均注文額が増えると思います。

ご覧のとおり、典型的な仮説はそれほど複雑ではありませんが、行動と結果について非常に具体的です。

3.バリエーションを作成します

仮説を立て、テストする要素を特定したので、それらの要素に基づいてバリエーションの作成を開始できます。

幸いなことに、Justunoを使用すると、この部分は通常非常に単純です。以下のバリエーションを確認してください。

A / Bテストを設定するときは、一度に1つの要素のみでバリエーションをテストするのが最善です。上記の例では、オファーコピーのみが変更され、オファー金額は同じままであることがわかります。

理論的には、このポップアップをちらっと見ているユーザーは、すぐにプロモーションの基本を理解する必要があります。20％オフ、送料無料、100ドル相当のものを購入する必要があります。

この例では、「インスタントセービング」の優先順位を視覚的に下げました。これは、そのテキストが目標とはほとんど関係がないためです。

4.テストと反復

バリエーションができたので、テストを設定できます。

テストを実行する必要がある時間の長さは、統計的有意性に到達するのにかかる時間に完全に依存します。これは、「取得するデータは90％信頼できる」という素晴らしい言い方です。

ほとんどの場合、結果に妥当な信頼を置くには、少なくとも1,200回のインプレッションが必要です。

A/Bテストを実行するタイミング

テストで最も重要な部分の1つは、いつテストするのが適切かを判断することです。

「常に」と言うのは簡単です。常にテストする必要があります。

私はまだ自分自身でこの考え方に陥ることがありますが、各テストの前に、一歩下がって自分自身にいくつかの質問をすることが重要です。

来週、何人の訪問者がこのプロモーションを見ますか？ 二週間？ 月？

この質問への答えは非常に重要です。理想的な世界では、数千ポイントのデータが必要になります（つまり、訪問者が実際にテストを実行します）。

上記のように、少なくとも、結果にかなり自信があるように、テストは1,200インプレッションになるまで実行する必要があります。

これを念頭に置いて、最初のステップは、1日にテストを通過する訪問者の数を予測できるようにすることです。

この番号は、Analyticsアカウントがリンクされている場合、GoogleAnalyticsまたはJustunoダッシュボードから簡単に取得できるはずです。

トラフィック数を確認するときは、実行しているプロモーションのタイプとプロモーションのターゲティングルールを覚えておくことが重要です。

たとえば、Exit Intentプロモーションを実行している場合、サイトへのすべての訪問者にこれが表示されると想定するのが妥当です。ホームページにのみ表示されるバナープロモーションを実行している場合は、サイト全体ではなく、ホームページのみの訪問者データを確認する必要があります。

これらの一般的なルールが手元にあれば、Google Analyticsにアクセスして、プロモーションが掲載されるページを確認し、必要な情報を見つけることができます。 [オーディエンス]タブに移動し、日付範囲を設定して過去3〜6か月を確認し、週で並べ替えます。チャートで利用可能な各データポイントは、トラフィックへの7ウィンドウになります。

各データポイントをスプレッドシートに入力し（GoogleスプレッドシートまたはExcelでも同様に機能します）、それらの数値を平均します。これで、サイトの1週間の平均トラフィックフローがかなり正確になりました。

1日あたりの平均訪問者数が決まったら、1,200インプレッションに到達するためにテストを実行するために必要な最小時間を計算できます。

開始するためのガイドラインについては、以下の便利なチャートを参照してください。

1日あたりの訪問者数	テストの最小の長さ
0〜100	14日（2週間）
101-250	14日（2週間）
251-500	7日（1週間）
501-1000+	7日（1週間）

テストを実行する最短期間は丸1週間です。 テストは同じ日に開始および停止する必要があり、理想的には同時に開始する必要があります。

これは、1日に10,000人の訪問者がいる場合でも、サイトでは曜日によってユーザーの行動が異なるためです。同じ曜日にテストを開始および終了することで、異常なユーザーの行動やパターンをスムーズにすることができます。

これは、トラフィックとユーザーの行動の日々の変動を制御できるため、非常に重要です。

警告のいくつかの言葉：

金曜日にテストを開始することは避けてください。何か問題が発生した場合、月曜日まで気付かない場合があります。
午前中にテストを開始します。上記と同じ理由で、その日の後半にテストを開始しないようにしてください。
トラフィックと購入パターンの変動によりデータが破棄され、テストが無効になるため、休暇中にテストを実行しないでください。

一般的に、A/Bテストを実行する最大時間は1か月です。

この上限の理由は、リソースの割り当てに基づいています。

最小実行可能性または約1,000人の訪問者に到達するのに1か月以上かかる場合は、別のタイプのテストを実行することを検討する必要があります。

すべきこととすべきでないことの要約：

行う：

1日あたりのトラフィックを見つける
トラフィック番号を使用して、テストの長さを決定します
同じ曜日にテストを開始および停止します

しないでください：

週末にA/Bテストを開始します
A/Bテストを1か月以上実行する
休暇中にA/Bテストを実行する
さまざまな日に、さまざまな時間にテストを開始および停止します

A/Bテストの成功はどのように見えるか

この記事全体を読み終えたら、おめでとうございます！ A/Bテストでクラッシュコースを受講しました。

Justunoアカウントで最初のA/Bテストを開始してセットアップする前に、ShopifyPlusジュエリー小売業者であるGLDShopが実施した最近のケーススタディをご覧ください。

このA/Bテストでは、GLDショップはコンバージョンを300％増やすことができました。