Автоматизация, Конверсия, Обновления

Как запустить идеальный А/Б тест и что часто забывают маркетологи

АБ тест

Содержание:

  1. Зачем нужны А/Б тесты? Почему нельзя отправлять всем сначала одно письмо, а через неделю другое и сравнить результат
  2. А/Б тесты в Carrot Quest — наш повод для гордости
  3. Что можно тестировать
  4. Статистика
  5. Какой вариант считать выигрышным
  6. Распространённые ошибки при проведении А/Б тестов
  7. Капля вдохновения

Мы рады сообщить, что в Carrot Quest появилась возможность создавать А/Б тесты. Это большое событие, и мы очень надеемся, что вы извлечёте максимум пользы из этого инструмента.
В этой статье мы хотим рассказать, что такое А/Б тесты, зачем они нужны, как правильно их проводить и анализировать. В общем, дать информацию, благодаря которой вы сможете проводить качественные А/Б тесты.

Вот самая простая иллюстрация А/Б теста: вы хотите выяснить, что работает лучше — красная или зелёная кнопка CTA. Для этого вы делите свою аудиторию пополам и показываете каждой половине разные варианты сообщения (группе А сообщение с красной кнопкой, группе Б — с зелёной). Затем смотрите на конверсию и оцениваете, какой вариант наиболее успешный. После можно отключить менее эффективный вариант, а победителя оставить для показа всем пользователям.

А/Б тесты Carrot quest

 

Чтобы приблизить А/Б тест к научному эксперименту, можно ввести контрольную группу — часть аудитории, которая совсем не увидит вашего послания (ни один из вариантов). Так вы сможете проверить, как изменится мир без вашего сообщения (вдруг оно только снижает конверсию?!).

 

Зачем нужны А/Б тесты? Почему нельзя отправлять всем сначала одно письмо, а через неделю другое и сравнить результат

А/Б тесты помогают исключить влияние внешних факторов вроде сезонности, рекламных кампаний и дней недели.

Например, вы провели успешную рекламную кампанию и привели на сайт заинтересованных в продукте лидов. Вместе с увеличением трафика можно ожидать повышение конверсии. Будет некорректно сравнивать эффективность сообщения, которое отправляется этой группе, с сообщением для нецелевого или совсем холодного трафика. Или банально наступило лето и конверсия в продажу кондиционеров стала выше в 2 раза. Точный результат можно получить, только если учесть и минимизировать влияние подобных внешних факторов.

Сообщения показываются в один и тот же период времени, а люди в каждую из групп (А или Б) выбираются случайным образом.

Как видите, А/Б тесты — очень мощный инструмент маркетолога. Он помогает постоянно улучшать вашу коммуникацию с пользователем (тестировать и выбирать те элементы, которые с большей вероятностью убедят его в совершить действие, например, покупку).

 

А/Б тесты в Carrot Quest — наш повод для гордости

Любое автосообщение в Carrot Quest может быть А/Б тестом. Вы можете посмотреть, как повлияют на конверсию изменения в поп-апе, письме, сообщении в чат и даже при необходимости в скрипте JS.

А/Б тесты в Carrot quest автосообщения

 

Создать А/Б тест так же просто, как обычное автосообщение в Carrot Quest. Просто добавьте второй вариант на шаге “Вид и содержание.”

 

Более того, вы можете сравнивать не только письмо с письмом, всплывающее окно со всплывающим окном, но и разные типы коммуникаций: чат с поп-апом, большой поп-ап с маленьким, сообщение в чат и Javascript и вообще любые другие варианты сочетаний. Проверьте, в каком формате ваше сообщение работает эффективнее всего.

Попап о брошенной корзине конвертирует лучше, чем емейл, отправленный в тот же самый момент. Скорее всего, это происходит потому, что пользователь видит его в самый подходящий момент, сразу на сайте, и готов к действию. С письмом сложнее, потому что оно может затеряться в его почтовом ящике или пользователь посмотрит его в неподходящий момент. Как раз для того, чтобы выяснить, какая коммуникация работает лучше, вы можете использовать А/Б тесты Carrot Quest.

А/Б тесты - что лучше работает

 

Давайте вернёмся к А/Б тестам в общем, чтобы понять, как и зачем использовать эти новые возможности.

 

Что можно тестировать

По идее, вы можете тестировать всё, что как-то может влиять на поведение пользователей. Чаще всего А/Б-тесты применяют для выбора лучшего элемента на лендинге или оптимизации коммуникаций (емейлов, попапов и сообщений в чат).

Вот лишь часть того, что можно протестировать в сообщении (почти всё из этого подойдёт для теста на лендинге):

  • тема письма;
  • тексты;
  • изображения;
  • текст на кнопках;
  • цвет кнопок;
  • разные призывы к действию;
  • расположение блоков с контентом в письме;
  • кнопки во всплывающих окнах и их цветовые решения;
  • и мн. др.

Здесь выбор ограничивается только вашей фантазией и здравым смыслом.

 

Статистика

Цифры — наше всё. Именно по цифрам вы можете определить, какое сообщение работает лучше и далее использовать именно его (удаляя проигрышный вариант). Для каждого сообщения могут быть свои показатели успеха. Какое сообщение победило: где больше кликов или открытий? Решать только вам, ведь это зависит от вашей цели. Также вы решаете, когда наберётся достаточно данных (достаточно большая аудитория пользователей), чтобы сделать вывод и остановить А/Б-тест. Для этого помните о таком понятии как размер выборки и генеральная совокупность.

Например, если в сегмент пользователей, на котором вы проводите А/Б-тест (он не обязательно совпадает с совокупным трафиком сайта!) ежемесячно попадает около 1000 человек, то, чтобы сделать вывод с вероятностью 95%, в А/Б-тесте должно поучаствовать 278 человек.

Вам не обязательно рассчитывать вплоть до каждого пользователя и ждать ровно такого количества участников теста, просто представляйте себе приблизительное число. Вы должны понимать, что, с одной стороны, 100 человек будет мало для принятия решения, а с другой стороны, нет смысла затягивать А/Б-тест, дожидаясь, когда в тесте поучаствует 500 или 1000 человек.

Как и всегда, в статистике вы можете посмотреть количество отправок сообщения, сколько из них было доставлено, прочитано, сколько читателей ответили на него, в скольких перешли по ссылке, сколько пожаловались на спам или отписались.

Данные собираются в удобном виде, чтобы вы могли оперативно сравнить цифры, а также просматривать динамику на графиках.

А/Б тест - статистика

 

Какой вариант считать выигрышным

Вернёмся еще раз к мысли, что тестировать можно всё, что как-то влияет на поведение пользователей. То есть нам важно, чтобы тестируемый элемент влиял на целевое действие: регистрацию, оплату или оставленный лид. Правильнее всего оценивать эффективность А/Б-теста именно по этим параметрам.

Вот пример. Какое из писем стоит признать победителем в А/Б-тесте?

А/Б тесты - сравнение писем

 

Несмотря на то, что пользователи лучше взаимодействуют с первым письмом, второе принесло нам больше продаж и, как следствие, денег. Открытия и клики — это здорово, но смотрите на конверсию в те действия, которые по-настоящему важны для вас.

Для этой цели в Carrot Quest вы можете задать цель автосообщения. Подробно о важности целей мы рассказывали в этой статье. Популярность письма не значит, что оно приносит деньги. Но теперь вас не обмануть.

А/Б тест - цель автосообщения

 

Распространённые ошибки при проведении А/Б тестов

1. Отсутствие сегментации пользователей

Сегментация — это основа любой качественной кампании по автоматизации маркетинга. Пожалуйста, не посылайте нерелевантные сообщения клиентам. Во-первых, это просто может их отпугнуть. А во-вторых внесёт существенную ошибку в результаты А/Б-теста, т.к. проигравшее на общей массе пользователей сообщение может оказаться выигрышным среди целевой аудитории.

 

Мы написали много статей о сегментации и очень надеемся, что вы пользуетесь хотя бы некоторыми нашими советами. Вот, например, эти:

 

2. Слишком маленькая аудитория для А/Б теста

Решая провести А/Б тест, вам необходимо иметь минимальное представление о статистических данных, доверительном интервале и репрезентативной выборке. Очевидно, что чем больше будет аудитория для А/Б теста, тем надёжнее будет результат. Если в тесте приняли участие 4 человека, то голос каждого из них — это целых 25 процентов. А если участников было 400 или 4 000, то данные, скорее всего, можно считать репрезентативными. Вы сами решаете, какой аудитории достаточно для анализа и когда прекращать А/Б тест.

 

3. Слишком много экспериментов в одном

Суть А/Б теста в том, чтобы выяснить, как влияет изменение конкретного элемента на конверсию в целевое действие. Поэтому важно менять не больше одного элемента за раз. Иначе вы не сможете сказать, что повлияло на успех письма: котик на картинке вместо собачки или большая красная кнопка CTA вместо простой текстовой ссылки.

В Carrot Quest для одного автосообщения вы можете последовательно настраивать неограниченное количество А/Б-тестов. Например, сначала вы можете протестировать заголовок письма. Как только определите победителя и закончите тест, можете переходить к тестированию CTA, а затем тексту сообщения.

 

4. Надежда на чужой опыт

Некоторые маркетологи хотят обмануть всех и не проводить А/Б тест, а сразу посмотреть результаты какого-нибудь кейса и внедрить сразу успешный вариант. Это большая ошибка, потому что отличается буквально всё. Только тест покажет, что работает именно в вашем случае, для вашей аудитории. Вы с удивлением можете обнаружить, что у вас лучше работает зелёная кнопка, хотя только вчера прочитали кейс, где компания отказалась от зеленого в пользу красного и увеличила продажи в 2 раза. Это нормально. Верьте цифрам теста, а не собственному чутью.

 

5. Завышенные ожидания

Этот пункт связан со всеми предыдущими. Многие смотрят на кейсы успешных компаний и считают, что А/Б тесты непременно повысят конверсию если не в два раза, то хотя бы процентов на 30-40. В реальности совсем не обязательно это будет так. Варианты А и Б могут отличаться незначительно, например, текстом на кнопке (помните, что один тест — один элемент?). Поэтому разница в результатах может быть невелика, но даже она заслуживает быть принятой во внимание. Это же результат! Кроме того, может понадобиться время, чтобы набралась достаточно большая аудитория для теста и показательных результатов. Придётся запастись терпением и не делать поспешных выводов. Словом, А/Б-тесты — это действительно мощная вещь, но стоит запастись терпением и не переоценивать их.

 

Капля вдохновения

Мы уже готовим для вас статью с интересными кейсами, в которых показано, каких результатов можно добиться с помощью А/Б тестов (спойлер: увеличить CTR на 2,5%, количество кликов на 325% или удвоить продажи).

Но не забывайте об ошибках ориентации на чужие кейсы и завышенных ожиданий! Даже если ваш А/Б тест показал более скромные результаты, не расстраивайтесь: вы всё равно стали на шаг ближе к цели.

Кстати, если вы вычитали новый способ увеличить конверсию на 100500%, попробуйте протестировать этот совет, сравнивая его с тем сообщением, которое у вас уже есть (или просто с контрольной группой). Так вы избежите слепого следования за “лучшими”.

А пока вот вам пара вариантов того, что можно протестировать:

  • Добавьте персонализации к вашим емейлам: имя пользователя, его просмотренные товары и т.п.
  • Ограниченная по времени акция против простого промо-кода на скидку;
  • Разные темы письма;
  • Разный размер и цвет кнопок и призывов к действию;
  • Большой поп-ап против маленького;
  • Маленький поп-ап против сообщения в чат;
  • Попробуйте изменить текст поп-апа, оставив прежний оффер:
    А/Б тест - сравнение поп-апов

Экспериментируйте с удовольствием! И рассказывайте нам о своих результатах.

С удовольствием,
Carrot Quest

5/5 (2)

Пожалуйста, оцените статью

Автор: Елена Стрункина
Доношу пользу и рассказываю о ценности Carrot quest. С любовью, от души.
Подключите Carrot quest
Первые 14 дней бесплатно

Похожие статьи

Carrot quest для вашей команды
Инструменты Carrot quest помогают разным командам решать их ежедневные задачи
Узнать больше
Подписаться