为什么营销人员应该对移动应用进行 A/B 测试

已发表: 2022-05-31

创建公司移动应用程序可能是营销人员最大限度地扩大与有价值的移动受众群体的有效方式。 但由于移动应用程序是一种新策略，营销人员仍在试图弄清楚如何最好地处理这种广告资产。

挑战范围从通过移动应用安装活动获得下载，到简单地构建和启动应用。 尽管确实选择在移动应用程序上与品牌互动的受众，可以被视为公司的核心，尤其是因为他们费尽心思下载了应用程序。 并且可以从这些专门的应用程序受众中获得的数据非常宝贵。

然而，移动体验管理公司 Apptimize 首席执行官 Nancy Hua 此前曾向 Marketing Dive 指出，许多营销人员犯了一个错误，即花费太多时间试图扩大应用程序的用户群，而不是努力改进应用程序。 这种改进可以来自用户反馈、分析应用程序用户数据，以及改进应用程序最有效的方法，A/B 测试。

华说，品牌应该牢记的测试公司应用程序的另一个有价值的方面是应用程序内消息传递。

“消息传递是应用程序体验的关键部分，需要明智的决策，即时间和内容，”她告诉 Marketing Dive。 “您向用户显示应用内消息的上下文会对用户体验产生巨大影响。”

该上下文可以包括：

  • 是他们通常浏览的时候吗？
  • 还是他们通常准备买东西的时候？
  • 他们是在旅途中，还是在床上？
  • 他们最后一次看到这个视图时在做什么？

“这些问题可以告诉你如何与用户联系并提供相关内容，并决定你的用户是讨厌还是喜欢你的应用程序，”华解释说。

应用内消息测试——案例研究

针对亚洲市场的移动约会应用 Paktor 进行了应用内消息测试，成功地将每用户平均收入提高了 17%。 Paktor 数据分析负责人 Anmol Mohan 告诉 Marketing，该公司希望通过向查看超过 10 个潜在匹配项的用户发送弹出消息来测试驾驶订阅。

莫汉说，测试有两个主要原因。

首先，让用户了解会员的好处，这可以帮助他们的个人资料脱颖而出。 此外，利用这个机会告诉他们最近推出的 Paktor 保证计划，该计划确保购买三个月和六个月订阅的用户获得离线日期。 其次，通过为所有用户突出显示订阅购买来增加订阅购买（以前只有 60-70% 的用户访问订阅购买页面）。

Mohan 补充说，Paktor 经常在其产品上使用 A/B 测试——开发团队平均每周推出一项新功能——以及所有营销活动都经过 A/B 测试的营销活动。

“对于电子邮件活动，我们测试图像、创意甚至主题行。 我们先进的预测算法可识别我们存储库中提供的各种优惠的机会。 我们会定期更新报价池，并将其精确地推荐给合适的用户，”Mohan 说。

对于移动应用程序测试，他说 Paktor 的流程涉及一系列步骤，首先是通过查看数据来识别机会——在这种情况下是关于各种弹出屏幕和消息。 然后，UX 团队开发了一个概念，该概念可以基于该数据实现定义的目标。 同时，开发团队处理设计团队产生的创意，客户团队使用最新版本的应用程序推出该功能。​

Paktor 使用 Apptimize 打开该功能，该工具将用户分为控制组和目标组。 在测试达到大量数据后，将其收集以确定测试结果。 有了这些结果，产品团队会根据数据团队的建议推出编辑后的功能。

在应用测试中收集数据的价值

任何测试的一部分都是创建假设和测试协议。

在这两点上，Mohan 说数据团队通过发现应用程序可以改进的领域来处理假设和实验设置。 产品团队从那里描述要测试的新功能，数据团队定义程序。 这有助于开发团队了解如何编写功能和变体。 数据团队还提供用于分析测试结果的指南和指标。

测试开始后，将在主要指标领域收集数据，包括应用内消息测试的货币化、参与度和留存率。

“根据观察，我们尝试开发我们观察到的差异或冷漠背后的业务逻辑。然后我们尝试通过单独的数据点验证逻辑。如果一切顺利，我们将决定该功能的命运，”Mohan 解释说。

然而，测试确实伴随着挑战。 Mohan 描述的一些障碍包括用户无法以预期方式感知测试功能以及测试发现的短期差异，这些差异并不总是转化为长期利益。 对于第一个挑战，它可能意味着结果有偏差，难以理解调查结果的根本原因。

对于 Mohan 讨论的应用内消息传递测试，根据用户表示的喜欢和不喜欢，向用户呈现不同的消息。 在为测试选择的三个主要指标领域中的每一个中也有许多关键绩效指标：

  1. 货币化——客户生命周期价值、每位用户的平均收入、每位付费用户的平均收入、转化率
  2. 参与度——会话持续时间、会话数量、滑动、喜欢、不喜欢、吸引力水平、友好度水平
  3. 留存——活跃用户、休眠用户、重新激活用户、1 天/3 天/7 天窗口留存、MoM 留存

在本次测试中，Paktor 的订阅量增加了 10.35%。 尽管弹出消息导致点菜购买量减少，但仍导致每用户平均收入增加 17%。

Apptimize 的 Hua 表示，考虑到个人和突出的移动设备对观众而言，这些测试就像 Paktor 使用应用内消息进行的测试一样非常宝贵。 “移动需要最多的测试，因为移动是用户最复杂和最关键的体验，”她说。

为了获得最大价值，Hua 建议从漏斗顶部开始测试入职。 最终目标是什么？

“从一开始就吸引用户，当他们对你的应用程序的好奇心和兴奋达到最高点时，同时对价值是什么持怀疑态度，”她说。