Почему маркетологи должны проводить A/B-тестирование мобильных приложений

Создание корпоративного мобильного приложения может стать для маркетологов эффективным способом максимизировать охват ценной мобильной аудитории. Но поскольку мобильные приложения — это такая новая тактика, маркетологи все еще пытаются понять, как лучше всего использовать этот рекламный актив.

Проблемы варьируются от получения загрузок с помощью кампаний по установке мобильных приложений до простой сборки и запуска приложения. Хотя аудитория, которая предпочитает взаимодействовать с брендом через мобильное приложение, может считаться основной для компании, тем более что они потрудились загрузить приложение. И данные, которые можно получить из этой выделенной аудитории приложений, могут быть бесценными.

Тем не менее, генеральный директор компании по управлению мобильным опытом Apptimize Нэнси Хуа ранее указала Marketing Dive, что многие маркетологи совершают ошибку, тратя слишком много времени на расширение пользовательской базы приложения вместо того, чтобы работать над его улучшением. Это улучшение может быть получено благодаря отзывам пользователей, анализу пользовательских данных приложения и, возможно, наиболее эффективному способу улучшения приложения — A/B-тестированию.

Хуа сказал, что еще один ценный аспект тестирования корпоративных приложений, о котором должны помнить бренды, — это обмен сообщениями внутри приложения.

«Обмен сообщениями является ключевой частью приложения и требует умных решений, касающихся времени и контента», — сказала она Marketing Dive. «Контекст, в котором вы показываете пользователю сообщение в приложении, может оказать существенное влияние на взаимодействие с пользователем».

Этот контекст может включать:

• Это когда они обычно просматривают?
• Или это когда они обычно готовы что-то купить?
• Они в пути или в постели?
• Что они делали в последний раз, когда видели этот вид?

«Эти вопросы могут дать информацию о том, как вы общаетесь со своим пользователем и доставляете релевантный контент, а также определяют разницу между тем, ненавидит ли ваш пользователь ваше приложение или любит его», — пояснил Хуа.

Тестирование обмена сообщениями в приложении — тематическое исследование

Мобильное приложение для знакомств Paktor, ориентированное на азиатский рынок, провело тесты обмена сообщениями в приложении, что позволило увеличить средний доход на одного пользователя на 17%. Анмол Мохан, руководитель отдела аналитики данных в Paktor, сообщил маркетингу, что компания хотела протестировать подписку на вождение, рассылая всплывающие сообщения пользователям, которые просмотрели более 10 предполагаемых совпадений.

Мохан сказал, что для проведения теста было две основные причины.

Во-первых, рассказать пользователям о преимуществах членства, которые помогут выделить их профили. Кроме того, используйте возможность рассказать им о недавно запущенной программе Paktor Guarantee Program, которая гарантирует, что пользователи, покупающие трехмесячные и шестимесячные подписки, получат офлайн-даты. А во-вторых, увеличить количество покупок подписки, выделив их для всех пользователей (ранее только 60-70% пользователей посещали страницу покупки подписки).

Мохан добавил, что Paktor регулярно использует A/B-тестирование своего продукта — команда разработчиков в среднем внедряет новую функцию каждую неделю — а также в своем маркетинге, при этом все кампании проходят A/B-тестирование.

«Для кампаний по электронной почте мы тестируем изображения, креативы и даже темы. Наши передовые алгоритмы прогнозирования определяют возможности различных предложений, которые есть в нашем репозитории. Мы регулярно обновляем пул предложений и с точностью рекомендуем их подходящим пользователям», — сказал Мохан.

По его словам, для тестирования мобильных приложений процесс Пактора включает в себя ряд шагов, начиная с определения возможности путем просмотра данных — в данном случае о различных всплывающих экранах и сообщениях. Затем команда UX разрабатывает концепцию, которая может достичь определенных целей на основе этих данных. Тем временем команда разработчиков работает над креативами, созданными командой дизайнеров, а команда клиента внедряет эту функцию в последнюю версию приложения.​

Paktor использует Apptimize для включения этой функции, а инструмент разделяет пользователей на контрольные и целевые группы. После того, как тест достигает значительного объема данных, они собираются для определения результатов теста. Получив эти результаты, команда разработчиков выпускает отредактированную функцию на основе рекомендаций группы обработки данных.

Ценность сбора данных при тестировании приложений

Частью любого теста является создание гипотезы и протокола тестирования.

По этим двум пунктам, по словам Мохана, группа обработки данных обрабатывает гипотезы и проводит эксперименты, выявляя области, в которых приложение можно улучшить. Оттуда команда продукта описывает новую функцию, которую нужно протестировать, а команда данных определяет процедуру. Это помогает команде разработчиков понять, как кодировать функции и варианты. Группа обработки данных также предоставляет рекомендации и показатели для анализа результатов тестирования.

После начала тестирования данные собираются по основным метрикам, включая монетизацию, вовлеченность и удержание для теста обмена сообщениями в приложении.

«Основываясь на наблюдениях, мы пытаемся разработать бизнес-логику для различия или безразличия, которое мы наблюдаем. Затем мы пытаемся проверить логику с помощью отдельных точек данных. Если все подтверждается, мы решаем судьбу этой функции», — объяснил Мохан.

Однако тестирование сопряжено с трудностями. Некоторые препятствия, описанные Моханом, включают в себя тестируемую функцию, которая не воспринимается пользователями должным образом, и краткосрочные различия, обнаруженные тестом, которые не всегда приводят к долгосрочным преимуществам. С первой проблемой это может означать искаженные результаты, которые затрудняют понимание основной причины результатов.

Для теста обмена сообщениями в приложении, о котором говорил Мохан, пользователям были представлены различные сообщения в зависимости от их указанных симпатий и антипатий. В каждой из трех основных метрических областей, выбранных для теста, также был ряд ключевых показателей эффективности:

1. Монетизация — пожизненная ценность клиента, средний доход на пользователя, средний доход на платящего пользователя, коэффициент конверсии.
2. Вовлеченность — продолжительность сеанса, количество сеансов, просмотры, лайки, антипатии, уровни привлекательности, уровни дружелюбия
3. Удержание — активные пользователи, бездействующие пользователи, повторно активированные пользователи, 1-дневное/3-дневное/7-дневное оконное удержание, удержание MoM

В этом тесте количество подписчиков Paktor увеличилось на 10,35%. И хотя всплывающие сообщения привели к снижению количества покупок по меню, они все же привели к увеличению среднего дохода на пользователя на 17%.

Хуа из Apptimize говорит, что такие тесты, как и тот, который Paktor провел с обменом сообщениями в приложении, бесценны, учитывая, насколько личными и заметными стали мобильные устройства для аудитории. «Мобильные устройства требуют наибольшего тестирования, потому что мобильные устройства — это самый сложный и важный опыт для пользователей», — сказала она.

Чтобы получить максимальную отдачу, Хуа рекомендует начинать с верхней части воронки, тестируя on-boarding. А конечная цель?

«Зацепите пользователя с самого начала, когда он находится на пике любопытства и восхищения вашим приложением, но при этом скептически относится к его ценности», — сказала она.