掌握 A/B 和多變量測試（終極指南）

已發表: 2018-07-27

到目前為止，大多數營銷人員都知道他們需要將 A/B 測試集成到他們開發新促銷和廣告的過程中。

但是，知道應該使用 A/B 測試和知道如何運行 A/B 測試是兩種不同的遊戲。

A/B 測試的世界可能令人困惑，許多人可以互換使用“A/B 測試”、“A/B/n 測試”或“多變量測試”等術語。

但是，這些都是不同類型的測試。這是一個快速的綱要：

“A/B”和“A/B/n”測試非常相似。他們都在測試一個特定的變量更改，以查看該更改的影響。 A/B 測試意味著您正在運行促銷的兩個版本——通常是一個控製版本和一個帶有您想要測試的更改的第二個版本。 A/B/n 測試意味著您正在運行多個版本的促銷 - 仍然測試一個特定變量，但運行該變量更改的多個變體。例如…

A/B 測試：您正在測試 CTA 按鈕上的文本。一個版本說“註冊！” 第二個版本說“現在加入！”
A/B/n 測試：您正在測試 CTA 按鈕的顏色。第一個版本是紅色的，第二個版本是藍色的，第三個版本是綠色的，以此類推。

多變量測試是一次測量多個變量更改的影響的任何測試。提示就在名稱本身中：多（多）變量（變量）。例如…

您正在同時測試 CTA 按鈕顏色和文本的變體。

在本文中，我們將介紹為什麼應該運行 A/B 測試、應該運行什麼類型的測試以及何時運行 A/B 測試。讓我們跳進去！

為什麼要運行 A/B 測試？

為了運行成功的 A/B 測試，您必須具備測試背後的正確推理和意圖。

運行測試的一個廣泛原因是為了優化轉換，但如果你想成功，你必須有更深入和更詳細的推理。

讓我們深入了解運行 A/B 測試的最常見原因。

1. 我的促銷效果不佳

這是大多數營銷人員開始進行測試的主要原因。

效果不佳的促銷活動對您的收入來說是一個真正的問題，並且是您可以衡量的。

通過運行 A/B 測試，您可以調整促銷的細節，以逐步提高其有效性。這使您可以為客戶提供更好的體驗，同時還可以提高您的底線。

2. 我的品牌指南發生了變化

這種情況發生的頻率比您想像的要多。每當公司進行品牌更新時，通常促銷活動都需要全新的設計和內容。

雖然 A/B 測試是快速實施這些更改的好方法，但它也有助於引導品牌更新。

通過使用 A/B 測試來測試不同的顏色、措辭和設計風格，您可以通過展示客戶反應最佳的真實用戶數據來幫助告知整體品牌方向。

在這種情況下，您不會針對原始設計測試新設計。

通過品牌更新，您通常可以了解品牌設計和聲音的發展方向，但您仍然需要弄清楚字體、顏色托盤等細節。您從第一個開始，您的測試應該反映您從之前的晉升成功中學到的東西。

在你開始之前…

在開始設置 A/B 測試之前，有幾件事情需要記住。首先，要避免的一些陷阱……

陷阱#1：沒有根據行業基準檢查促銷績效。

當然，您希望您的促銷活動優於“平均水平”，但如果您的促銷活動已經超過行業平均水平 20% 以上，那麼最好測試其他方法以實現您的目標。

好消息是，您的晉升遠高於競爭對手。壞消息是，在此促銷活動中運行 A/B 測試可能弊大於利。如果促銷已經是您客戶的理想選擇，那麼引入變化可能會使性能下降。

陷阱 2：未能確定可衡量的 KPI。

如果您“只是希望此促銷活動做得更好”，那麼您可能沒有將該促銷活動與影響底線業務目標的 KPI 聯繫起來。

要提高促銷的績效，您需要密切關注哪些 KPI 會受到影響，以便準確評估更改。

如果附加的 KPI 是為了增加平均訂單價值，並且您運行測試並看到參與度增加但平均訂單價值減少，則不應將測試視為成功。

與促銷相關的最常見的 KPI 是：

兌換率
購物車放棄率
電子郵件捕獲率
平均訂單價值

您應該在啟動任何測試之前確定您的目標 KPI，以確保您可以正確跟踪更改。

IA/B 應該測試什麼？

現在您對基礎有了更好的了解，我們可以深入了解測試中最重要和最常被誤解的方面——如何構建可靠的 A/B 測試。

促銷的要素

CTA——行動號召
標語 - 複製以吸引訪問者的注意力
報價副本 - 描述您的報價的副本
報價金額 - 報價的有形價值
圖片資產 – 用於代表商品、品牌等的圖片。
步驟數——訪問者完成參與需要多少步驟

以上是促銷的主要元素，因此是您的主要測試變量。

報價副本和報價金額是分開的，因為您可以更改特定報價金額而無需實際更改周圍副本。

這是一個例子：

“從今天開始，訂閱即可享受 10% 的折扣！”
“從今天開始，訂閱可享受 15% 的折扣！”

在上面的示例中，“報價副本”是包含“報價金額”的文本。當您繼續創建實際測試時，請牢記這一區別。

報價金額幾乎總是具有最重要的權重。如果您從實際角度考慮這一點，您就會明白為什麼。

例如，您寧願享受 5 美元的高級洗車優惠還是免費的高級洗車服務？

在所有其他條件相同的情況下，更多的人會更願意獲得免費洗車服務，而不是僅減 5 美元。

如何設置 A/B 測試

1.確定KPI

設置任何測試以優化轉化的最重要的第一步是確定您想要影響的 KPI。

這可能是減少購物車放棄、增加電子郵件註冊、增加參與度或您和您的團隊已確定的任何特定於站點的 KPI。

一旦你確定了你的 KPI，從上面的組件列表中開始，就這些元素中的哪一個最能幫助你改進你的目標 KPI 開始製定假設。

讓我們用一個例子為你勾勒出來，這樣你就可以看到它是如何完成的：

在這個例子中，有很多事情要做，還有很多東西要解壓，所以讓我們從上面的列表開始分解它。

優惠金額——在這個特定的促銷活動中，實際上推出了兩種不同的優惠——20% 的折扣和免費送貨。
步數- 1
CTA——使用代碼。
圖像資產- 無
標語- 即時節省
報價副本- 立即從您購物車中的商品中取出（報價金額 1）+（報價金額 2）

直觀地分解促銷的每個部分將使您清楚地了解所有不同的移動部分，並允許您確定測試的優先級。

繼續這個例子，讓我們使用平均訂單價值作為我們的主要 KPI。這是一個明確的、可衡量的 KPI，肯定會影響公司的底線。

2. 識別和假設

接下來，您需要確定您認為會對您確定的 KPI 產生最大影響的元素。對於此示例，我們將使用 Offer Copy 和 Offer Amount。

對於每次晉升，寫下你的假設很重要，這樣你就可以跟踪你的思路。

這是一個示例假設：

我相信更改報價副本以包含最低訂單價值並增加報價金額的可見性將增加平均訂單價值。

如您所見，一個典型的假設並不過分複雜，但對行動和結果非常具體。

3. 創建一個變體

現在您已經制定了一個假設並確定了要測試的元素，您可以開始基於這些元素創建變體。

幸運的是，使用 Justuno，這部分通常非常簡單。查看以下變化：

在設置 A/B 測試時，最好一次只測試一個元素的變體。在上面的示例中，您會注意到只有報價副本發生了變化，而報價金額保持不變。

理論上，任何看到這個彈出窗口的用戶都應該立即了解促銷的基本知識：20% 的折扣，免費送貨，我必須購買價值 100 美元的東西。

在這個例子中，我們還在視覺上取消了“即時儲蓄”的優先級，因為該文本在很大程度上與目標無關。

4. 測試和迭代

現在你有了你的變體，你可以設置你的測試。

你應該運行測試的時間長度完全取決於達到統計顯著性需要多長時間——這是一種奇特的說法，“你得到的數據是 90% 可靠的”。

在大多數情況下，您需要至少 1,200 次展示才能對結果有合理的信心。

何時運行 A/B 測試

任何測試最重要的部分之一就是弄清楚何時適合進行測試。

說“總是”很容易。你應該一直在測試。

我自己有時仍然會陷入這種心態，但在每次測試之前，退一步問自己幾個問題很重要：

下周有多少訪客會看到此促銷活動？ 兩週？ 月？

這個問題的答案非常重要。在理想情況下，您將需要幾千個數據點（即實際運行您的測試的訪問者）。

如上所述，您的測試至少應該運行到 1,200 次展示，才能對結果有合理的信心。

考慮到這一點，您的第一步是弄清楚每天有多少訪問者會通過您的測試進行可預測的漏斗。

如果您已關聯您的 Google Analytics（分析）帳戶，則此數字應該很容易從您的 Google Analytics（分析）或 Justuno 儀表板獲得。

在查看您的流量數字時，請務必記住您正在運行的促銷類型和促銷的定位規則。

例如，如果您正在開展退出意圖促銷活動，那麼可以假設您網站的每個訪問者都會看到此促銷活動。如果您正在運行僅顯示在主頁上的橫幅促銷，那麼您應該只查看主頁的訪問者數據，而不是整個網站的訪問者數據。

掌握了這些一般規則後，您可以進入您的 Google Analytics（分析）並查看您的促銷活動所在的頁面並找到您想要的信息。轉到“受眾”選項卡並將日期範圍設置為查看過去 3-6 個完整月，然後按週排序。圖表上可用的每個數據點都是您流量的 7 個窗口。

將每個數據點輸入電子表格（Google 表格或 Excel 也同樣適用），然後對這些數字取平均值。現在，您的網站獲得了相當準確的平均每周流量。

獲得每天的平均訪問者數量後，您可以計算出運行測試以達到 1,200 次展示所需的最短時間。

請參閱下面的便捷圖表以獲取入門指南：

每天的訪客人數	最短測試時間
0-100	14 天（2 週）
101-250	14 天（2 週）
251-500	7 天（1 週）
501-1000+	7天（1週）

您希望運行測試的最短時間為一整週。 您的測試需要在同一天開始和停止，最好是同時開始。

這是因為即使您每天有 10,000 名訪問者，您的網站也會在一周中的不同日子體驗不同的用戶行為。通過在一周的同一天開始和結束您的測試，您可以幫助平滑不尋常的用戶行為和模式。

這一點非常重要，因為它可以讓您每天控制流量和用戶行為的波動。

警告幾句：

避免在星期五開始考試。如果出現任何問題，您可能要到星期一才會注意到。
早上開始你的測試。出於與上述相同的原因，盡量不要在當天晚些時候開始測試。
不要在假期進行測試，因為流量和購買模式的波動會導致數據丟失並使測試無效。

一般來說，您希望運行 A/B 測試的最長時間為一個月。

這個上限的原因是基於資源分配。

如果達到最低生存能力或大約 1,000 名訪問者需要超過一個月的時間，那麼您需要考慮運行不同類型的測試。

該做與不該做的總結：

做：

查找您的每日流量
使用流量數字來確定測試的長度
在一周的同一天開始和停止考試

不：

在周末開始 A/B 測試
運行超過一個月的 A/B 測試
在假期運行 A/B 測試
在不同的日子、不同的時間開始和停止您的測試

A/B 測試成功的樣子

如果您通過了整篇文章，那麼恭喜您！您剛剛接受了 A/B 測試速成課程。

在您開始並在 Justuno 帳戶中設置您的第一個 A/B 測試之前，請查看 Shopify Plus 珠寶零售商 The GLD Shop 最近執行的案例研究。

在此 A/B 測試中，The GLD Shop 能夠將轉化率提高 300%！