Конверсия

Как Skyeng доказали связь между контентом и конверсиями в оплату

15 марта в Москве прошла конференция о полезном контенте для людей и бизнеса Content Sense. Мы начинаем публиковать конспекты самых интересных выступлений на тему продуктового маркетинга. Так что если вы не были на конференции, то ничего не пропустите 🙂

Артем Штанов, Product manager в Skyeng, рассказал, как в Skyeng доказали связь между контентом и конверсиями в оплату и как им удается проверять 3 контентные гипотезы за месяц.

Skyeng — это крупная онлайн-школа английского языка, на счету уже больше 4 000 000 уроков. Их продукт — изучение языка.

На конференции речь шла о контенте внутри продукта. Такой контент приносит компании больше всего денег, но делать его сложнее всего и часто непонятно как.

Вводный урок в Skyeng

Важная часть customer acquisition— вводные уроки. С ними работать сложно, потому что это одновременно платформа, контент и операционка. Проблемы с любой из этих составляющих ведут к снижению конверсии.

В определенный момент Skyeng задались вопросом: они тратят много денег на контент, но не знают, влияет ли он на конверсию.

В результате исследований поняли, что — да, контент влияет на конверсию.

Как это поняли? Провели ухудшающий тест, то есть уронили конверсию.

Если есть метрика и неизвестно, что на нее влияет, можно провести ухудшающий тест. Если метрика упадет, значит это что-то влияет. Если метрика падает, значит ее и вырастить можно.

Проблема в том, что непонятно, какой урок/контент — хороший. Нет четких критериев.

Решили применить продуктовый метод для работы с контентом, создали свой фреймворк:

RARA – Radical Action Research Analytics

RARA фреймворк

R — Radical — радикальность

Гипотезу нужно формулировать радикально, потому что слишком дорого проверять и делать А/В тесты для каждой мелочи.

Пример гипотезы: сделать вводный урок вообще без английского языка.

Плюс радикальных гипотез в том, что если эта гипотеза хоть что-то сдвигает, то она сдвинет эту метрику заметно.

A — Action — действие

В Skyeng построили процессы так, чтобы проверять одну контентную гипотезу за неделю.

Сделали это так: 5-10 методистам дают новый контент, они проводят около 100-150 тестовых уроков. Данных о конверсии недостаточно, чтобы принять решение. Методисты сразу же дают фидбэк. На основе этого фидбэка ежедневно вносятся изменения в контент. Сразу же после уроков у учеников тоже собирают обратную связь.

После этого проводит А/Б тестирование. Это самый дорогой способ проверить гипотезу, поэтому он подходит только для тех гипотез, в которые: а) сильно верят, б) которые хорошо показали себя во время тест-драйва.

R — Research — исследование

Количественные исследования проводить нужно, но чтобы они приносили пользу, должен быть выстроен процесс. Недостаточно один раз собрать обратную связь, все должно работать как часы.

На каждом этапе жизненного цикла контента гипотеза может умереть.

Что исследовать

Инсайты:

  • количественные исследования — это не так сложно. Даже анкета в почтовой рассылке — уже количественное исследование.
  • качественные исследования — это быстро и дешево.

Как их проводить?

Задавать одни и те же вопросы до тех пор, пока не начнешь получать одни и те же ответы от разных людей из нужного сегмента.

Если не получается, значит: не те люди/не те вопросы/плохая гипотеза.

A — Analytics — Аналитика

Аналитику часто сложно провести, потому что часто на продукт влияет много вещей одновременно.

Чтобы получать выводы, в Skyeng договорились про следующее правило:

Мы допускаем, что если на контенте Х у этих людей были определенные показатели конверсии, то есть они меняются в результате теста контента У, значит это не люди резко стали лучше/хуже, а контент.

До эксперимента

  • формируем выборки с помощью А/А теста (нужно чтобы тестовая и контрольная группы были равнозначны по всем параметрам);
  • делаем контент для внедрения контента (нужно научить методистов пользоваться новым контентом);
  • определяем win/failure condition (что победа, что — поражение).

Во время эксперимента

  • проверяем качество проведения урока (на случай если методисты ведут неправильно);
  • следим за нарушителями (на случай если методисты внезапно берут не тестовый контент);
  • отслеживаем любые пики в целевой метрике и разбираемся (если метрика резко растет вниз или вверх, значит что-то не так).

После эксперимента

За 7 дней принимают решение о том, что контент — крутой, его можно раскатить на весь Skyeng (потому что большинство людей активируется за 7 дней).

Через 21 день считают, сколько денег принес эксперимент (оставшиеся люди принимают решение в течение 21 дня).

Так получается проверять 3 контентные гипотезы за месяц.

Выводы:

  1. Найдите продукт и метрику, где контент имеет наибольшее влияние;
  2. Соберите команду, чтобы сдвинуть метрику;
  3. Выберите фреймворк;
  4. Исследуйте (качественные исследования — это быстро и дешево);
  5. Убивайте как можно больше гипотез до того, как взять их в работу;
  6. Формулируйте гипотезы как можно радикальнее;
  7. Настройте аналитику: что считаете, когда считаете, что есть win и fail.

Готово, вы восхитительны!

4/5 (8)

Пожалуйста, оцените статью

Автор: Ольга Каптиева
Помогаю читателям найти блог Carrot quest.
Подключите Carrot quest
Первые 14 дней бесплатно

Похожие статьи

Carrot quest для вашей команды
Инструменты Carrot quest помогают разным командам решать их ежедневные задачи
Узнать больше