為什麼營銷人員應該對移動應用進行 A/B 測試

已發表: 2022-05-31

創建公司移動應用程序可能是營銷人員最大限度地擴大與有價值的移動受眾群體的有效方式。 但由於移動應用程序是一種新策略，營銷人員仍在試圖弄清楚如何最好地處理這種廣告資產。

挑戰範圍從通過移動應用安裝活動獲得下載，到簡單地構建和啟動應用。 儘管確實選擇在移動應用程序上與品牌互動的受眾，可以被視為公司的核心，尤其是因為他們費盡心思下載了應用程序。 並且可以從這些專門的應用程序受眾中獲得的數據非常寶貴。

然而，移動體驗管理公司 Apptimize 首席執行官 Nancy Hua 此前曾向 Marketing Dive 指出，許多營銷人員犯了一個錯誤，即花費太多時間試圖擴大應用程序的用戶群，而不是努力改進應用程序。 這種改進可以來自用戶反饋、分析應用程序用戶數據，以及改進應用程序最有效的方法，A/B 測試。

華說，品牌應該牢記的測試公司應用程序的另一個有價值的方面是應用程序內消息傳遞。

“消息傳遞是應用程序體驗的關鍵部分，需要明智的決策，即時間和內容，”她告訴 Marketing Dive。 “您向用戶顯示應用內消息的上下文會對用戶體驗產生巨大影響。”

該上下文可以包括：

  • 是他們通常瀏覽的時候嗎？
  • 還是他們通常準備買東西的時候？
  • 他們是在旅途中，還是在床上？
  • 他們最後一次看到這個視圖時在做什麼？

“這些問題可以告訴你如何與用戶聯繫並提供相關內容，並決定你的用戶是討厭還是喜歡你的應用程序，”華解釋說。

應用內消息測試——案例研究

針對亞洲市場的移動約會應用 Paktor 進行了應用內消息測試，成功地將每用戶平均收入提高了 17%。 Paktor 數據分析負責人 Anmol Mohan 告訴 Marketing，該公司希望通過向查看超過 10 個潛在匹配項的用戶發送彈出消息來測試駕駛訂閱。

莫漢說，測試有兩個主要原因。

首先，讓用戶了解會員的好處，這可以幫助他們的個人資料脫穎而出。 此外，利用這個機會告訴他們最近推出的 Paktor 保證計劃，該計劃確保購買三個月和六個月訂閱的用戶獲得離線日期。 其次，通過為所有用戶突出顯示訂閱購買來增加訂閱購買（以前只有 60-70% 的用戶訪問訂閱購買頁面）。

Mohan 補充說，Paktor 經常在其產品上使用 A/B 測試——開發團隊平均每週推出一項新功能——以及所有營銷活動都經過 A/B 測試的營銷活動。

“對於電子郵件活動，我們測試圖像、創意甚至主題行。 我們先進的預測算法可識別我們存儲庫中提供的各種優惠的機會。 我們會定期更新報價池，並將其精確地推薦給合適的用戶，”Mohan 說。

對於移動應用程序測試，他說 Paktor 的流程涉及一系列步驟，首先是通過查看數據來識別機會——在這種情況下是關於各種彈出屏幕和消息。 然後，UX 團隊開發了一個概念，該概念可以基於該數據實現定義的目標。 同時，開發團隊處理設計團隊產生的創意，客戶團隊使用最新版本的應用程序推出該功能。​

Paktor 使用 Apptimize 打開該功能，該工具將用戶分為控制組和目標組。 在測試達到大量數據後，將其收集以確定測試結果。 有了這些結果，產品團隊會根據數據團隊的建議推出編輯後的功能。

在應用測試中收集數據的價值

任何測試的一部分都是創建假設和測試協議。

在這兩點上，Mohan 說數據團隊通過發現應用程序可以改進的領域來處理假設和實驗設置。 產品團隊從那裡描述要測試的新功能，數據團隊定義程序。 這有助於開發團隊了解如何編寫功能和變體。 數據團隊還提供用於分析測試結果的指南和指標。

測試開始後，將在主要指標領域收集數據，包括應用內消息測試的貨幣化、參與度和留存率。

“根據觀察，我們嘗試開發我們觀察到的差異或冷漠背後的業務邏輯。然後我們嘗試通過單獨的數據點驗證邏輯。如果一切順利，我們將決定該功能的命運，”Mohan 解釋說。

然而，測試確實伴隨著挑戰。 Mohan 描述的一些障礙包括用戶無法以預期方式感知測試功能以及測試發現的短期差異，這些差異並不總是轉化為長期利益。 對於第一個挑戰，它可能意味著結果有偏差，難以理解調查結果的根本原因。

對於 Mohan 討論的應用內消息傳遞測試，根據用戶表示的喜歡和不喜歡，向用戶呈現不同的消息。 在為測試選擇的三個主要指標領域中的每一個中也有許多關鍵績效指標：

  1. 貨幣化——客戶生命週期價值、每位用戶的平均收入、每位付費用戶的平均收入、轉化率
  2. 參與度——會話持續時間、會話數量、滑動、喜歡、不喜歡、吸引力水平、友好度水平
  3. 留存——活躍用戶、休眠用戶、重新激活用戶、1 天/3 天/7 天窗口留存、MoM 留存

在本次測試中，Paktor 的訂閱量增加了 10.35%。 儘管彈出消息導致點菜購買量減少，但仍導致每用戶平均收入增加 17%。

Apptimize 的 Hua 表示，考慮到個人和突出的移動設備對觀眾而言，這些測試就像 Paktor 使用應用內消息進行的測試一樣非常寶貴。 “移動需要最多的測試，因為移動是用戶最複雜和最關鍵的體驗，”她說。

為了獲得最大價值，Hua 建議從漏斗頂部開始測試入職。 最終目標是什麼？

“從一開始就吸引用戶，當他們對你的應用程序的好奇心和興奮達到最高點時，同時對價值是什麼持懷疑態度，”她說。