Автоматизация, Конверсия

Краткий гайд по А/Б тестам в Carrot quest

Передаем привет всем, кто гулял с собакой, лежал на берегу моря в отпуске, спасал вселенную или был занят другими очень важными делами во время нашего вебинара про А/Б тесты в Carrot quest. Хорошие новости: мы собрали в статье все самое важное, что произошло на вебинаре, чтобы вы набрались смелости, важной информации и вдохновения для того, чтобы начать проводить А/Б тесты. 

Что такое А/Б тесты

В двух словах, А/Б тест — это эксперимент для оценки эффективности отправляемого сообщения. В А/Б тестах можно сравнивать:

  • эффективность любых типов сообщений;
Например, два поп-апа с разными креативами
  • эффективность разных каналов коммуникации.
Например, поп-ап и письмо vs сообщение в чат

Зачем они нужны

А/Б тесты стоит включить в работу по трем причинам:

1. Более быстрое тестирование гипотез 

К примеру, вас не устраивает конверсия в заявку какого-то конкретного лендинга. Предположим, что полная переделка займет около месяца, потребует вовлечения целой команды и не гарантирует изменений в конверсии. А/Б тесты покажут изменения уже через одну-две недели и потребуют значительно меньше ресурсов.

2. Решения, подкрепленные статистикой

Вносите изменения, которые вам подсказывает не шестое чувство, а конкретные цифры и факты. Вы можете проверять любые элементы страницы и видеть по результатам А/Б теста, какой вариант лучше остальных, на основе математических данных.

3. Множество полезных инсайтов

А/Б тесты помогут вам лучше понять вашу аудиторию, как с ней лучше работать и что приносит самые хорошие результаты. Те каналы коммуникации и ценности, на которые вы рассчитывали больше всего, могут попросту не сработать. Взгляните на пример подобного откровения, полученного в результате А/Б теста:

Как настроить автосообщение в Carrot quest

Для наглядности в этом разделе мы оставим фрагмент из вебинара с инструкцией:

Как определить, сколько времени займет А/Б тест

Оценивать А/Б тесты можно с помощью калькулятора Эвана Миллера

Для того, чтобы понять, сколько времени займет А/Б тест и стоит ли игра свеч, вам понадобится примерный трафик на сайте, текущая конверсия и предполагаемый прирост конверсии.

В калькуляторе Эвана Миллера вы сможете рассчитать количество показов, которое будет необходимо для получения статистически значимого результата.

а/б тесты расчет времени проведения

Если соотнести количество показов с примерным трафиком на сайте, можно определить, сколько времени займет А/Б тест и стоит ли его проводить. 

Дополнительное чтение: поискать статьи про то, как именно работает калькулятор, что такое статистическая мощность, доверительный интервал и статистическая значимость, можно в этой подборке.

К примеру, если А/Б тест потребует слишком много времени, лучше его не запускать: ваше предложение может измениться, а время и силы будут потрачены впустую. Лучше проводить А/Б тесты в краткие сроки и с вариантами сообщений, которые будут значительно отличаться друг от друга.

Пример расчета времени А/Б теста из вебинара:

Пример А/Б теста, на проведение которого понадобится 21 год:

Как принимать решение по результатам кейса

Для того, чтобы понять, какой из вариантов сработал более успешно, вам понадобится внести в калькулятор Эвана Миллера количество показов и конверсию каждого из вариантов.

Даже если на первый взгляд разница кажется существенной, еще не факт, что это будет действительно статистически значимый результат. Если он не был достигнут, можно прикинуть, сколько времени это займет и продлить, но лучше оставить любой из вариантов и заняться другими гипотезами.

а/б тесты оценка эффективности вариантов

Пример А/Б теста, по результатам которого уже можно принять решение:

Пример А/Б теста, по которому статистически значимый результат не был достигнут:

Что лучше всего тестировать

В первую очередь займитесь тестированием ценностей для клиента и разных общих месседжей (разное сочетание текста и дизайна). Такие тесты покажут более значительную конверсии, быстрее дают статистически значимый результат и вы быстрее получите ценные выводы. К тому же, в конечном итоге для роста важнее ценность, которую вы предлагаете, а не кнопки и шрифты. 

Пример тестирования ценности:

Пример тестирования общего месседжа:

Лучше не тестировать мелочи вроде шрифтов или цвета кнопок, потому что для получения статистически значимого результата понадобится очень много времени. Поменять цвет кнопки, ждать 6 месяцев и получить разницу в конверсии в 0,5% — очень сомнительное удовольствие и не позволит проекту кратно расти.

Это имеет смысл, когда все остальные гипотезы исчерпаны. В течение таких тестов ваш продукт или сайт могут измениться и тест потеряет свою актуальность еще до того, как вы получите результат. 

Какие еще существуют тесты?

Если вы уже проверили все гипотезы и стандартных А/Б тестов оказалось недостаточно, присмотритесь к другим вариациям:

  • А/А тест. На два сегмента запускается одинаковый месседж, чтобы проверить однородность трафика. Используется как подготовка к А/Б тесту, но занимает много времени и несет мало пользы. 
  • А/А/Б тест. Запускается, когда есть подозрение на то, что на определенной выборке трафик недостаточно однородный, и сегмент Б даст достоверный результат, только когда А и А будут равны.
  • А/Б тест с контрольной группой. Тестирование, при котором аудитория делится на три части: 45% аудитории увидят вариант А, 45% увидят вариант Б, 10 процентов не увидят ничего. Это нужно, чтобы выяснить, что сообщение действительно влияет на пользователя. или никак не влияет. Если контрольная группа конвертируется так же или лучше остальных, это звоночек, что А/Б тест лучше закрыть.

Дополнительное чтение

В этом разделе мы собрали полезные материалы и статьи, которые уже выходили по этой теме в блоге Carrot quest.

P. S. 

Посмотреть полную запись вебинара можно по ссылке. Удачных тестов и высоких конверсий!

5/5 (9)

Пожалуйста, оцените статью

Автор: Яна Никулина
Пишу о важном для клиентов Carrot quest.
Подключите Carrot quest
Первые 14 дней бесплатно

Похожие статьи

Carrot quest для вашей команды
Инструменты Carrot quest помогают разным командам решать их ежедневные задачи
Узнать больше