Освойте A/B и многовариантное тестирование (полное руководство)

К настоящему времени большинство маркетологов знают, что им необходимо интегрировать A/B-тестирование в свой процесс для разработки новых рекламных акций и рекламы.

Однако знание того, что вам следует использовать A/B-тесты, и знание того, как проводить A/B-тесты, — это две разные игры.

Мир A/B-тестирования может сбивать с толку, поскольку многие люди используют такие термины, как «A/B-тестирование», «A/B/n-тестирование» или «многовариантное тестирование» как синонимы.

Однако это все разные типы тестов. Вот краткое изложение:

Тесты «A/B» и «A/B/n» очень похожи. Они оба тестируют одно конкретное изменение переменной, чтобы увидеть влияние этого изменения. A/B-тест означает, что вы запускаете две версии промо — обычно контрольную и вторую версию с изменением, которое вы хотите протестировать. Тест A/B/n означает, что вы запускаете несколько версий промо — по-прежнему тестируете одну конкретную переменную, но запускаете несколько вариантов изменения этой переменной. Например…

1. A/B-тест: вы тестируете текст на кнопке CTA. Одна версия гласит: «Зарегистрируйтесь!» вторая версия говорит: «Присоединяйтесь сейчас!»
2. A/B/n-тест: вы тестируете цвет кнопки CTA. Одна версия красная, вторая версия синяя, третья версия зеленая и так далее.

Многовариантный тест — это любой тест, который измеряет влияние сразу нескольких изменений переменных. Подсказка в самом названии: multi (много) variate (переменных). Например…

1. Вы одновременно тестируете варианты цвета и текста кнопки CTA.

В этой статье мы расскажем, почему вам следует проводить A/B-тесты, какие типы тестов вам следует запускать и когда проводить A/B-тесты. Давайте прыгать!

Зачем мне проводить A/B-тестирование?

Чтобы провести успешное A/B-тестирование, у вас должны быть правильные рассуждения и намерения, лежащие в основе теста.

Общая причина проведения теста — оптимизация для конверсий, но у вас должны быть более глубокие и подробные рассуждения, если вы хотите добиться успеха.

Давайте рассмотрим наиболее распространенные причины проведения A/B-тестирования.

1. Мое продвижение неэффективно

Это главная причина, по которой большинство маркетологов начинают процесс тестирования.

Неэффективная рекламная акция — это реальная проблема для вашего дохода, которую вы можете измерить.

Запустив A/B-тестирование, вы можете настроить детали своего продвижения, чтобы постепенно повысить его эффективность. Это позволяет вам обеспечить лучший опыт для ваших клиентов, а также улучшить вашу прибыль.

2. Мои принципы бренда изменились

Это случается чаще, чем вы думаете. Каждый раз, когда компания обновляет бренд, рекламные акции обычно требуют совершенно нового дизайна и контента.

Хотя A/B-тестирование — отличный способ быстро внедрить эти изменения, оно также может помочь в обновлении бренда.

Тестируя различные цвета, формулировки и стили дизайна с помощью A/B-тестов, вы можете помочь определить общее направление бренда, предоставив реальные пользовательские данные о том, на что ваши клиенты реагируют лучше всего.

В этом случае вы не будете тестировать новый дизайн в сравнении с оригиналом.

При обновлении бренда у вас, как правило, есть общее представление о том, в каком направлении будут двигаться дизайн и голос бренда, но вам все еще нужно выяснить детали для таких вещей, как шрифт, цветовая палитра и т. д. Вы начинаете с нуля и ваш тесты должны отражать ваши выводы из предыдущего успешного продвижения по службе.

Прежде чем вы начнете…

Прежде чем приступить к настройке A/B-тестов, необходимо помнить о нескольких вещах. Прежде всего, несколько подводных камней, которых следует избегать…

Ошибка № 1: Не сверять эффективность продвижения с отраслевыми эталонами.

Конечно, вы хотите, чтобы ваши рекламные акции превзошли «средние», но если ваша реклама уже превосходит средние показатели по отрасли более чем на 20 %, возможно, лучше протестировать что-то еще, чтобы достичь своих целей.

Хорошей новостью является то, что ваше продвижение намного выше, чем у конкурентов. Плохая новость заключается в том, что вы можете принести больше вреда, чем пользы, запустив A/B-тестирование этой рекламной акции. Если реклама уже идеальна для вашего клиента, то введение вариаций может привести к падению эффективности.

Ошибка № 2: Неспособность определить измеримый KPI.

Если вы «просто хотите, чтобы это продвижение было лучше», то, скорее всего, вы не привязали это продвижение к KPI, который повлияет на конечную бизнес-цель.

Чтобы повысить эффективность продвижения, вам нужно следить за тем, какие ключевые показатели эффективности будут затронуты, чтобы вы могли точно оценить изменение.

Если прикрепленный KPI должен увеличить среднюю стоимость заказа, а вы запустите тест и увидите увеличение вовлеченности, но снижение средней стоимости заказа, то тест не следует считать успешным.

Наиболее распространенные KPI, связанные с рекламными акциями:

1. Коэффициент конверсии
2. Скорость отказа от корзины
3. Скорость захвата электронной почты
4. Средняя стоимость заказа

Вы должны определить, на какой KPI вы ориентируетесь, прежде чем запускать какие-либо тесты, чтобы убедиться, что вы можете правильно отслеживать изменения.

Что должен тестировать IA/B?

Теперь, когда вы лучше понимаете основы, мы можем углубиться в самый важный и наиболее часто неправильно понимаемый аспект тестирования — как структурировать надежный A/B-тест.

Элементы продвижения

1. CTA — призыв к действию
2. Строка тега — скопируйте, чтобы привлечь внимание посетителей
3. Копия предложения — копия, описывающая ваше предложение.
4. Сумма предложения – реальная ценность предложения.
5. Актив изображения — изображение, используемое для представления предложения, бренда и т. д.
6. Количество шагов — сколько шагов требуется посетителю для завершения взаимодействия.

Выше приведены основные элементы продвижения и, следовательно, основные переменные тестирования.

Копия предложения и Сумма предложения разделены, потому что вы можете изменить конкретную сумму предложения, фактически не изменяя окружающую копию.

Вот пример:

• «Начните сегодня, чтобы получить 10% скидку на подписку!»
• «Начните сегодня, чтобы получить скидку 15% на подписку!»

В приведенном выше примере «копия предложения» — это текст, в который заключена ваша «сумма предложения». Это различие важно помнить, когда вы продвигаетесь вперед к созданию реальных тестов.

Сумма предложения почти всегда будет иметь самый значительный вес. Если вы подумаете об этом с практической точки зрения, то поймете, почему.

Например, вы бы предпочли скидку 5 долларов на мойку премиум-класса или БЕСПЛАТНУЮ мойку премиум-класса?

При прочих равных, больше людей захотят воспользоваться бесплатной мойкой, а не всего лишь 5 долларами.

Как настроить A/B тест

1. Определите КПЭ

Самым важным первым шагом в настройке любого теста для оптимизации конверсий является определение KPI, на который вы хотите повлиять.

Это может быть сокращение числа отказов от корзины, увеличение количества подписок по электронной почте, увеличение вовлеченности или любые KPI для конкретных сайтов, которые вы и ваша команда определили.

Как только вы определите свой KPI, возьмите список компонентов сверху и начните формулировать гипотезы о том, какие из этих элементов лучше всего помогут вам улучшить KPI, на который вы ориентируетесь.

Давайте набросаем это для вас на примере, чтобы вы могли увидеть, как это делается:

В этом примере много чего происходит и многое нужно распаковать, поэтому давайте начнем с разбора, используя список выше.

1. Сумма предложения . В этой конкретной акции на самом деле выдвигаются два разных предложения — скидка 20% и бесплатная доставка.
2. Количество ступеней – 1
3. CTA — Используйте код.
4. Актив изображения — нет
5. Слоган – Мгновенная экономия
6. Копия предложения — снимите (сумма предложения 1) товары в вашей корзине сейчас + (сумма предложения 2)

Визуальное разделение каждой части продвижения даст вам четкое представление обо всех движущихся частях и позволит расставить приоритеты в тестах.

Придерживаясь этого примера, давайте использовать среднюю стоимость заказа в качестве нашего основного KPI. Это четкий, измеримый KPI, который, безусловно, повлияет на итоговую прибыль компании.

2. Определите и выдвиньте гипотезу

Затем вам необходимо определить элементы, которые, по вашему мнению, окажут наибольшее влияние на установленный вами KPI. В этом примере мы будем использовать Копию предложения и Сумма предложения.

Для каждой рекламной акции важно записывать свою гипотезу, чтобы вы могли отслеживать ход своих мыслей.

Вот пример гипотезы:

Я считаю, что изменение копии предложения с включением минимальной стоимости заказа и повышение видимости сумм предложения увеличит среднюю стоимость заказа.

Как видите, типичная гипотеза не слишком сложна, но очень конкретна в отношении действий и результатов.

3. Создайте вариант

Теперь, когда вы сформулировали гипотезу и определили элементы для проверки, вы можете начать создавать варианты на основе этих элементов.

К счастью, с Justuno эта часть обычно очень проста. Проверьте вариант ниже:

При настройке A/B-тестов лучше всего тестировать варианты только одного элемента за раз. В приведенном выше примере вы заметите, что изменилась только копия предложения, а сумма предложения осталась прежней.

Теоретически любой пользователь, взглянувший на это всплывающее окно, должен сразу же понять основы акции: скидка 20%, бесплатная доставка, я должен купить вещи на 100 долларов.

В этом примере мы также визуально снизили приоритет «мгновенных сбережений», потому что этот текст в значительной степени не имеет отношения к цели.

4. Тестируйте и повторяйте

Теперь, когда у вас есть вариант, вы можете настроить тест.

Время, в течение которого вы должны провести тест, полностью зависит от того, сколько времени потребуется для достижения статистической значимости, что является причудливым способом сказать: «данные, которые вы получаете, надежны на 90%».

В большинстве случаев вам потребуется не менее 1200 показов , чтобы иметь разумную уверенность в своих результатах.

Когда проводить A/B-тестирование

Одна из наиболее важных частей любого теста — выяснить, когда его целесообразно проводить.

Легко сказать: «Всегда». Всегда нужно тестировать.

Я сам иногда все еще впадаю в этот образ мышления, но перед каждым тестом важно сделать шаг назад и задать себе несколько вопросов:

Сколько посетителей увидят эту акцию на следующей неделе? Две недели? Месяц?

Ответ на этот вопрос невероятно важен. В идеальном мире вам понадобится несколько тысяч точек данных (т. е. посетителей, фактически прошедших ваш тест).

Как указано выше, ваш тест должен выполняться как минимум до 1200 показов, чтобы быть достаточно уверенным в результатах.

Имея это в виду, ваш первый шаг — выяснить, сколько посетителей предсказуемо будет проходить через ваш тест в день.

Этот номер должно быть легко получить из вашей панели инструментов Google Analytics или Justuno, если у вас есть связанная учетная запись Analytics.

При анализе показателей трафика важно помнить о типе рекламной акции, которую вы проводите, и о правилах таргетинга для этой рекламной акции.

Например, если вы проводите рекламную акцию с намерением выйти, справедливо предположить, что каждый посетитель вашего сайта увидит это. Если вы проводите баннерную рекламу, которая отображается только на главной странице, вам следует просматривать данные о посетителях ТОЛЬКО для вашей главной страницы, а не для всего сайта.

Имея в руках эти общие правила, вы можете зайти в свой Google Analytics и посмотреть на страницу, на которой будет жить ваше продвижение, и найти нужную информацию. Перейдите на вкладку «Аудитория» и установите диапазон дат для просмотра последних 3-6 полных месяцев, а затем отсортируйте по неделям. Каждая точка данных, доступная на графике, будет окном 7 в вашем трафике.

Введите каждую из точек данных в электронную таблицу (Google Sheets или Excel подойдут одинаково хорошо), а затем усредните эти числа. Теперь у вас есть достаточно точный средний еженедельный поток трафика для вашего сайта.

Получив среднее количество посетителей в день, вы можете рассчитать минимальное время, необходимое для запуска теста, чтобы получить 1200 показов.

См. нашу удобную таблицу ниже для рекомендаций, чтобы начать:

Минимальная продолжительность тестирования — одна полная неделя. Ваш тест должен начинаться и заканчиваться в один и тот же день и, в идеале, в одно и то же время.

Это связано с тем, что даже если у вас есть 10 000 посетителей в день, ваш сайт будет демонстрировать различное поведение пользователей в разные дни недели. Начав и завершив тестирование в один и тот же день недели, вы поможете сгладить необычное поведение и шаблоны пользователей.

Это критически важно, поскольку позволяет контролировать колебания трафика и поведение пользователей изо дня в день.

Несколько слов предупреждения:

• Не начинайте тестирование в пятницу. Если что-то пойдет не так, вы можете не заметить до понедельника.
• Начните свои тесты утром. По той же причине, что и выше, старайтесь не начинать тесты позже в тот же день.
• Не проводите тесты в праздничные дни, так как колебания трафика и моделей покупок могут сбросить ваши данные и сделать тест недействительным.

Вообще говоря, максимальное время, в течение которого вы хотите провести A/B-тестирование, составляет один месяц.

Причины этого ограничения основаны на распределении ресурсов.

Если для достижения минимальной жизнеспособности или около 1000 посетителей требуется больше месяца, вам нужно подумать о проведении другого типа теста.

Краткое изложение того, что можно и чего нельзя делать:

Делать:

1. Найдите свой дневной трафик
2. Используйте номера трафика, чтобы определить продолжительность теста
3. Начинайте и заканчивайте тест в один и тот же день недели

Не:

1. Начните A/B-тестирование в выходные
2. Проводите A/B-тестирование дольше месяца
3. Проведите A/B-тестирование во время отпуска
4. Запускайте и останавливайте тесты в разные дни и в разное время.

Как выглядит успех A/B-тестирования

Если вы дочитали до конца эту статью, поздравляем! Вы только что прошли ускоренный курс по A/B-тестированию.

Прежде чем вы начнете и настроите свой первый A / B-тест в своей учетной записи Justuno, взгляните на недавнее тематическое исследование, проведенное магазином ювелирных изделий Shopify Plus, The GLD Shop.

В этом A/B-тесте The GLD Shop удалось увеличить конверсию на 300%!