Как провести А/Б тест

Автосообщения можно совершенствовать постоянно.

Вы запустили автосообщение, получили конверсию в 3,5%. Хорошо это или плохо? Можно ли лучше? Что будет, если поменять картинку или оффер?

Самый правильный вариант — запустить А/Б тест. Тогда одной половине аудитории покажется ваше старое сообщение, а второй — новое. Сравнивая статистику, можно понять, какое сообщение сработало лучше.

Мы советуем запускать А/Б тест со значительными изменениями и при большом трафике. Иначе получение статистически значимых результатов (и выбор одного из вариантов) может затянуться.

А/Б тесты работают только для автосообщений. Давайте создадим одно и посмотрим, что можно тестировать.

Создать автосообщение и запустить А/Б тест

Запустить А/Б тест содержания — узнать, какой вариант сообщения лучше

Начнём с простого. Поменяем содержание — оффер, посыл, картинку или цвет кнопки (можно и всё сразу, но тогда мы не сможем понять, что именно дало результат).

Начните создавать автосообщение. Варианты А и Б будут отправляться по одному и тому же триггеру, одной и той же аудитории. Поэтому сам А/Б тест добавляется на 4 шаге настройки — Вид и содержание.

Проверьте и запустите А/Б тест. О том, как анализировать результаты и заканчивать А/Б тест, читайте в конце этой статьи.

Создать автосообщение и запустить А/Б тест

Добавить контрольную группу — доказать необходимость автосообщения

А что если автосообщение только уменьшает конверсию, и без него люди покупают только лучше (или, как минимум, так же)? Это тоже можно проверить.

Контрольная группа — это процент людей, которые попадают под условия отправки автосообщения, но не получают его. Она необходима, чтобы доказать эффективность автосообщения, сравнивая результаты с ним и без него.

Контрольная группа устанавливается на шаге Условия отправки. Таким образом, вы можете добавить контрольную группу просто к автосообщению или запустить А/Б тест с контрольной группой (поделив аудиторию на 3 части).

Вы можете установить процент аудитории, который попадёт в контрольную группу.

У любого автосообщения можно установить процент контрольной группы

Логика работы автосообщения с контрольной группой выглядит так:

Логика отправки автосообщения с контрольной группой

Посмотреть результаты по контрольной группе можно в статистике автосообщения.

Если вы поняли, что автосообщение успешно, можно отключить контрольную группу. Для этого достаточно просто поменять настройки автосообщения (отключить контрольную группу) и сохранить изменения.

Создать автосообщение и запустить А/Б тест

Запустить А/Б тест типов сообщений — что работает лучше поп-ап или чат

Допустим, вы придумали сообщение. Но как его лучше оформить: показать поп-ап на весь экран, небольшой сбоку или вообще написать в чат? Самым правильным решением будет выбрать два варианта (например, маленький поп-ап и чат) и запустить А/Б тест. Да, в Carrot quest можно сравнивать не только содержание, но и типы автосообщений.

Настраивается оно так же, как и А/Б тест содержания (см. выше).

Создать автосообщение и запустить А/Б тест

Запустить А/Б тест темы письма — проверить, как будут открывать больше писем

Все знают, что тема влияет на открываемость писем. Можно провести тестирование, чтобы понять, какая тема работает лучше — благодаря какой письма открывают чаще. При этом вам ничто не мешает провести А/Б тест и в тексте письма, так как эти два изменения (тема и содержание письма) никак не влияют друг на друга: тема влияет на открываемость, когда они не видят письмо, а содержание — на конверсию в переход, ответ или другое целевое действие.

Запустить тестирование темы можно точно так же, как А/Б тест содержания: написать письмо с темой 1, добавить вариант Б, скопировать текст письма (или придумать новый) и прописать тему 2.

Создать автосообщение и запустить А/Б тест

Запустить А/Б тест времени отправки (таймаута) — чтобы понять, когда лучше отправлять сообщение

В какое время показывать автосообщение: сразу или через пять минут, через час или сутки? Это тоже можно проверить, но подключив немного фантазии. Напрямую анализировать такое нельзя, но вот как можно поступить:

  1. Создать автосообщение с меньшим таймаутом;
  2. Поставить к нему контрольную группу 50%;
  3. Создать событие “Коммуникации: Отправлено сообщение [название сообщения]”;
  4. Создать автосообщение с большим таймаутом и в аудитории указать событие “Коммуникации: Отправлено сообщение [название сообщения]” не определено;
  5. Сравнивать статистику двух автосообщений.
Создать автосообщение и запустить А/Б тест

Как узнать результаты и остановить А/Б тест

Подробная статистика по А/Б тесту хранится в разделе статистика, вкладка А/Б тест.

Если статистика по вариантам отличается существенно и сообщение, как вам кажется, показалось достаточно большому количеству людей, можно выбрать вариант-победитель и закончить А/Б тест. Если результаты нечёткие, мы советуем прибегнуть к мат.статистике и понять необходимый размер выборки, чтобы с достаточной вероятностью говорить об успешности/неуспешности теста.

Когда вы определились, какой вариант отключать, зайдите в статистику автосообщения, перейдите во вкладку А/Б тест и завершите А/Б тест, выключив один из вариантов.

В этом примере вариант А будет отключён, и всем будет показываться вариант Б

Подытожим

  1. А/Б тесты помогают отвечать на вопросы и находить оптимальный вариант
  2. Вы можете тестировать тип сообщения, содержание, таймау и добавлять контрольную группу.
  3. Когда тест проведён и вы нашли лучший вариант, отключите менее успешное сообщение и завершите А/Б тест.
Поделиться:
Была ли эта статья полезна?
Да, очень
Не очень

Не нашли, что искали? Напишите нам в чат, мы поможем