Как Skyeng доказали связь между контентом и конверсиями в оплату

15 марта в Москве прошла конференция о полезном контенте для людей и бизнеса Content Sense. Мы начинаем публиковать конспекты самых интересных выступлений на тему продуктового маркетинга. Так что если вы не были на конференции, то ничего не пропустите 🙂

Артем Штанов, Product manager в Skyeng, рассказал, как в Skyeng доказали связь между контентом и конверсиями в оплату и как им удается проверять 3 контентные гипотезы за месяц.

Skyeng — это крупная онлайн-школа английского языка, на счету уже больше 4 000 000 уроков. Их продукт — изучение языка.

На конференции речь шла о контенте внутри продукта. Такой контент приносит компании больше всего денег, но делать его сложнее всего и часто непонятно как.

Важная часть customer acquisition— вводные уроки. С ними работать сложно, потому что это одновременно платформа, контент и операционка. Проблемы с любой из этих составляющих ведут к снижению конверсии.

В определенный момент Skyeng задались вопросом: они тратят много денег на контент, но не знают, влияет ли он на конверсию.

В результате исследований поняли, что — да, контент влияет на конверсию.

Как это поняли? Провели ухудшающий тест, то есть уронили конверсию.

Проблема в том, что непонятно, какой урок/контент — хороший. Нет четких критериев.

Решили применить продуктовый метод для работы с контентом, создали свой фреймворк:

RARA — Radical Action Research Analytics

R — Radical — радикальность

Гипотезу нужно формулировать радикально, потому что слишком дорого проверять и делать А/В тесты для каждой мелочи.

Пример гипотезы: сделать вводный урок вообще без английского языка.

Плюс радикальных гипотез в том, что если эта гипотеза хоть что-то сдвигает, то она сдвинет эту метрику заметно.

A — Action — действие

В Skyeng построили процессы так, чтобы проверять одну контентную гипотезу за неделю.

Сделали это так: 5-10 методистам дают новый контент, они проводят около 100-150 тестовых уроков. Данных о конверсии недостаточно, чтобы принять решение. Методисты сразу же дают фидбэк. На основе этого фидбэка ежедневно вносятся изменения в контент. Сразу же после уроков у учеников тоже собирают обратную связь.

После этого проводит А/Б тестирование. Это самый дорогой способ проверить гипотезу, поэтому он подходит только для тех гипотез, в которые: а) сильно верят, б) которые хорошо показали себя во время тест-драйва.

R — Research — исследование

Количественные исследования проводить нужно, но чтобы они приносили пользу, должен быть выстроен процесс. Недостаточно один раз собрать обратную связь, все должно работать как часы.

На каждом этапе жизненного цикла контента гипотеза может умереть.

Инсайты:

• количественные исследования — это не так сложно. Даже анкета в почтовой рассылке — уже количественное исследование.
• качественные исследования — это быстро и дешево.

Как их проводить?

Если не получается, значит: не те люди/не те вопросы/плохая гипотеза.

A — Analytics — Аналитика

Аналитику часто сложно провести, потому что часто на продукт влияет много вещей одновременно.

Чтобы получать выводы, в Skyeng договорились про следующее правило:

До эксперимента

• формируем выборки с помощью А/А теста (нужно чтобы тестовая и контрольная группы были равнозначны по всем параметрам);
• делаем контент для внедрения контента (нужно научить методистов пользоваться новым контентом);
• определяем win/failure condition (что победа, что — поражение).

Во время эксперимента

• проверяем качество проведения урока (на случай если методисты ведут неправильно);
• следим за нарушителями (на случай если методисты внезапно берут не тестовый контент);
• отслеживаем любые пики в целевой метрике и разбираемся (если метрика резко растет вниз или вверх, значит что-то не так).

После эксперимента

За 7 дней принимают решение о том, что контент — крутой, его можно раскатить на весь Skyeng (потому что большинство людей активируется за 7 дней).

Через 21 день считают, сколько денег принес эксперимент (оставшиеся люди принимают решение в течение 21 дня).

Так получается проверять 3 контентные гипотезы за месяц.

Выводы:

1. Найдите продукт и метрику, где контент имеет наибольшее влияние;
2. Соберите команду, чтобы сдвинуть метрику;
3. Выберите фреймворк;
4. Исследуйте (качественные исследования — это быстро и дешево);
5. Убивайте как можно больше гипотез до того, как взять их в работу;
6. Формулируйте гипотезы как можно радикальнее;
7. Настройте аналитику: что считаете, когда считаете, что есть win и fail.

Готово, вы восхитительны!