Гайд по продуктовым исследованиям: опыт SkyEng, Carrot quest, Miro и Дом.ru
В Перми прошел очередной митап Perm Product People, на котором обсуждали внутренние исследования в продуктовых компаниях. На него приезжала Алиса Вельмискина, user researcher в Skyeng. Она рассказала, как команде исследователей Skyeng удалось подружить user research и data-аналитику, и поделилась опытом организации исследований. К ней присоедились Катя Сюма, продуктовый дизайнер Miro, и Максим Головкин, head of web & mobile Дом.ru, чтобы рассказать, как исследования устроены в их компаниях. Вопросы ребятам задавал Дмитрий Сергеев, CEO & founder Carrot quest.
Почему в продуктовых компаниях любят исследования даже больше, чем в университетах
На этапе разработки проведение качественных исследований может сэкономить время и ресурсы на внедрение ненужных вещей. А позднее исследования позволят вам понять, как повысить значения ключевых метрик и ускорить процессы.
«9 из 10 гипотез не работает. Их нужно быстро верифицировать. Для этого нужны качественные исследования. Исследования — это про то, чтобы быстрее качественно делать свою работу. От этого все кайфуют».
Специфика продуктовых исследований состоит в том, что у них должен быть максимально короткий цикл, потому что чем раньше произойдет столкновение какой-то идеи с реальностью, а команда получит обратную связь, тем меньше потерь (временных, денежных и прочих) понесет компания.
Как понять, нужно ли исследование
Цель исследования должна быть конкретной. Нельзя исследовать слишком общие вещи. Например, вопрос «почему люди не покупают продукт?» не годится в качестве цели исследования. Более конкретный вопрос «Как пользователи переходят от чтения блога к регистрации в сервисе?» уже может дать старт исследованию.
«Когда начинаешь копаться в метриках, в какой-то момент попадаешь в “область тьмы”. Метрики закончились, дальше — непонятно. Здесь и начинаются качественные исследования».
При этом важно не начать исследовать все подряд, а сразу отметать ненужные исследования и исследования с бракованными целями и задачами.
«Мы принимаем решение о том, что нам нужно исследование, только когда у нас недостаточно знаний».
Как отличить бракованные задачи? Если с задачей все в порядке, мы четко понимаем, для чего нам нужна информация и что мы будем с ней делать. Если мы хотим что-то узнать, но понятия не имеем, что нам это даст, то такая задача — брак.
Кто должен заниматься исследованиями
Все зависит от задач, которые вы ставите перед исследованиями, и от размеров компании. В больших компаниях, как правило, исследованиями занимается отдельная команда. Например, в Skyeng работает команда исследователей, которая занимается только тем, что собирает инсайты для продуктовых команд. При этом исследователи, с одной стороны, распределены по продуктовым командам (и ими руководят продакты), а с другой стороны, объединены в команду исследователей, которой управляет руководитель горизонтали. В этой схеме продакты отвечают за бизнес, а руководитель горизонтали – за развитие сотрудников. Отдельная команда исследователей, которые делают большие исследования для продукта и маркетинга и заодно учат остальных, работает и в Дом.ru.
Другой вариант — разово собирать кросс-функциональную команду специально под исследование. В Miro исследования проводят смешанные команды из продактов, дизайнеров и разработчиков, для которых исследования — это дополнительная функция, и есть data team, которая тоже активно участвует в качественных исследованиях и проводит свои – количественные.
В Carrot quest исследованиями занимаются разные люди и разные команды, в зависимости от задачи, в том числе команда гроус хакинга, которая занимается верификацией гипотез непрерывно.
«Если компания data-informed, то культура исследований будет зарождаться и процветать».
Какие скиллы пригодятся исследователю
- любознательность;
- критическое мышление;
- аналитические способности;
- развитая эмпатия;
- коммуникативные навыки;
- знание продукта;
- знание аналитики/основ UX;
- умение считать;
- отсутствие перфекционизма;
- социологическое воображение (умение интерпретировать реальность);
- умение абстрагироваться от своего продукта, способность относиться к нему критически (вы должны искать в нем недостатки, потому что это поможет улучшить его);
- владение техникой активного слушания.
Не впадайте в панику, глядя на этот список: вы можете не обладать всеми этими скиллами сразу, но у вас точно будет возможность их развить, если вы займетесь продуктовыми исследованиями.
«Исследования помогают мне развиваться как дизайнеру. Они помогают опрокидывать собственные решения, относиться к ним более отстраненно. Больше итерировать. Исследования развивают скорость и эмпатию».
Как выбрать методы и инструменты
В продуктовых компаниях применяют и совмещают разные методы:
Когда речь идет о продуктовых исследованиях, то чаще используются качественные методы (потому что так удобнее для коротких итераций). Но опыт Skyeng и других компаний подтверждает, что иногда бывает полезно дополнить знания, полученные в результате качественного исследования, количественными: например, провести ряд глубинных интервью и заодно проанализировать количественные данные по исследуемому сегменту. Или наоборот, в количественных данных можно найти «боль» пользователей, а качественное исследование, в свою очередь, может помочь ее закрыть.
«Смешанные методы — это круто».
Иногда можно обойтись каким-то одним методом. Например, глубинными интервью или сбором фидбэка. Но можно их успешно сочетать. Юзабилити-тесты можно дополнять короткими интервью, сбор фидбэка — кабинетным исследованием. Выбор зависит от задач исследования и от возможностей, которыми располагает команда.
Спасибо! Мы уже отправили всё на почту
Бывает так, что команда находится в одном полушарии, а пользователи продукта – в другом. В этом случае все инструменты автоматически становятся удаленными, хотя суть их остается прежней. То есть это будут те же коридорные тесты, но с использованием Skype или Zoom, и те же интервью, но, например, телефонные, без возможности считывать эмоции собеседника, то же наблюдение, но через вебвизор. На самом деле, в продуктовых компаниях чаще всего так и происходит.
Как подготовиться к исследованию
Вам понадобится сформулировать:
- проблему,
- цель,
- задачи,
- гипотезы.
А также выбрать сегмент пользователей, на котором вы будете проверять эти гипотезы, и составить такой гайд (список вопросов), который позволит охватить все задачи исследования.
Хак: не спрашивайте о том, что сделал бы ваш респондент, спрашивайте о его прошлом опыте. Тогда он не сможет вам соврать, а вы не станете развивать свой продукт не в том направлении.
Как найти респондентов
Своих пользователей можно приглашать пройти интервью или опрос через внутренние сообщения, мессенджеры или рассылки. Здесь тоже пригодятся смешанные методы: вы можете в самом начале исследования отсортировать внутренних респондентов, опираясь на количественные данные, которыми располагаете.
Есть хорошие новости: замечено, что недовольные пользователи всегда с удовольствием делятся своими негативными впечатлениями. Используйте это!
«Ребята, которые отвалились, очень любят говорить о том, почему они это сделали. Недавно мне написал один такой: “Я отвалился, МОГУ ПРИЙТИ И РАССКАЗАТЬ ПОЧЕМУ”».
Сложнее найти тех, кто не является вашим пользователем и не касался вашего продукта и при этом подходит под определенные критерии. Как это можно сделать? Таких респондентов в каждом отдельном случае, как правило, приходится искать вручную. Можно попробовать сделать это через профессиональные сообщества в слэке, телеграме или фейсбуке. Кстати, канал Perm Product People в телеграме — как раз одно из таких сообществ. Еще можно попросить текущих пользователей поделиться с вами контактами коллег. В любом случае, планируя исследование, не забудьте заложить время на поиск подходящих респондентов.
Какие вопросы и как задавать
Придумайте вступление и вводные вопросы. Расскажите о том, чем вы занимаетесь. Расскажите, как для вас важно сделать продукт лучше для пользователей. Пусть участие в исследовании будет для пользователей положительным опытом.
Основные правила:
- Задавайте открытые вопросы.
- Уклоняйтесь от лести.
- Не давайте шанса соврать.
- Не спрашивайте мнение, расспрашивайте об опыте.
- Меньше говорите, больше слушайте.
- Радуйтесь критике.
Не забывайте поблагодарить участников исследования! Обязательно — в конце разговора, и можно сделать это еще раз в письме.
Чтобы научиться задавать правильные вопросы, ответы на которые не уведут вас в ложном направлении, советуем прочитать хотя бы один раз книгу Роба Фицпатрика «Спроси маму» и как можно больше практиковаться в проведении интервью.
Какую выборку считать достаточной
Всегда по-разному. Для качественных исследований действует концепция насыщения: выборка должна быть достаточной, чтобы обнаружить все или почти все конфигурации смысла и опыта, важные для исследования, но в то же время не быть слишком большой (тогда она становится контрпродуктивной). Принцип такой: если информация начинает повторяться, значит, пора остановиться.
«Помните, что в качественных исследованиях, в отличие от количественных, количество выборки нельзя оценивать статистически».
Качественные исследования нацелены на реконструкцию смысла, а не на статистические обобщения.
Как выделить инсайты из массива собранной информации
Череду методов и набор фреймворков для анализа полученных данных каждый выбирает сам, тут нет универсальной формулы.
«Когда я пыталась использовать разные фреймворки (CJM, JTBD и другие), у меня всегда получался какой-то свой монстр-фреймворк, потому что я начинала их миксовать и в результате получалось что-то новое, очень кастомное».
Чем раньше вы начнете сами проводить исследования, тем быстрее научитесь подбирать и сочетать между собой подходящие именно вам фреймворки.
Скачайте книгу
о продуктовых исследованиях
Как измерять эффективность исследований
Оценивать эффективность исследований непросто. Еще сложнее посчитать, оправдывают ли результаты исследований потраченные на них ресурсы. Когда можно считать, что исследование удалось?
- Есть инсайты, которые можно проверить.
«Если мы провели исследование и получили ответы на все вопросы, которые стояли в качестве задач исследования, подтвердили или опровергли все гипотезы, которые у нас были, исследование можно считать успешным».
Если вы ответили на все вопросы, а инсайтов нет, значит вопросы были сформулированы некорректно. Поэтому так важно фильтровать исследования на входе и не брать в работу «брак».
«Я стараюсь всегда, даже если иду с ребятами что-то тестить в офисе, написать гипотезу, которую я проверяю, и потом ее скорить».
В идеале должен появиться список рекомендаций, то есть конкретных действий по улучшению продукта, который исследователи передают команде продукта. А продакты дальше с этим списком работают: дополняют его, приоритизируют и отдают разработчикам. Так делают в Skyeng.
«Важно, чтобы это не были инсайты в стол, а чтобы в результате исследования генерировалось решение».
- По итогам исследования что-то запустили в работу и это дало рост метрик.
Как внедрить результаты
Задача исследователей — дать продуктовой команде рабочие выводы и рекомендации, а не бесполезный манускрипт. В Skyeng разработали шаблон отчета – набор из нескольких вопросов, на которые ресечер должен ответить по завершении исследования. А команде уже передается документ с отсортированным списком инсайтов, подтверждающих или опровергающих гипотезы, с цитатами и ссылками на источники (в том числе для того, чтобы не было соблазна по-своему интерпретировать данные).
Если вы проводите много исследований и узнаете благодаря ним много нового, придумайте свой способ шэрить эти знания со всей командой. Например, ребята в Miro проводят внутри компании регулярную встречу Product Insights, а у нас в Carrot quest есть «рыбные четверги» – это такие внутренние митапы, на которых все команды по очереди делятся тем, что важного и интересного для всех они накопали. В Skyeng результаты исследований обсуждают на командных стендапах и публично презентуют заказчикам из других команд.
Как хранить результаты
Важно придумать, как удобно хранить результаты всех ваших исследований, чтобы к ним можно было вернуться в любой момент и проанализировать какие-то данные с новой точки зрения или соотнести их с новыми инсайтами.
Исследования могут повторяться. Ваш продукт развивается, обстоятельства меняются, появляются новые проблемы и приходится проводить повторные исследования, одних и тех же вещей, но с другими целями и под другие задачи. Возможно, некоторые исследования вы решите сделать регулярными.
Если исследований много, обязательно нужно создать единый реестр. Такой реестр создали ребята в Skyeng. Это таблица, организованная таким образом, чтобы было просто найти все исследования по разным темам. Сами заметки и выводы по каждому исследованию хранятся в Notion.
Мы в Carrot quest для того чтобы приоритизировать гипотезы и хранить данные, относящиеся к ним, используем Favro. Вы можете выбрать для себя какой-то другой способ.
Доска команды гроус хакинга Carrot quest в Favro
Какие есть риски?
- Получить некачественные данные.
Вы можете забыть спросить о чем-то (нехватка опыта, стресс при первом интервью, молчаливый или чересчур разговорчивый респондент). От этого спасет гайд.
- Найти то, что уже и так известно.
Чтобы этого избежать, нужно хорошо знать продукт и внутренние процессы.
- Найти то, что не принесет пользы/нельзя внедрить.
Помните, что ресурсы ограничены, и вы создаете продукт для пользователей, а не для команды
- Потратить слишком много времени и сил.
Прежде чем приступить к исследованию, сравните, что дешевле по трудозатратам: исследование или А/Б тест. Если данных и инсайтов недостаточно, идите исследовать, чтобы пополнить копилку гипотез.
Чек-лист
- Посмотрите на аналитику. Возникают ли у вас вопросы «почему», когда вы смотрите на данные? Попробуйте изучить качественно! И наоборот. Вы провели кастдев, узнали что-то новое. Проверьте этот инсайт на количественных данных. Найдите слабые места и определитесь с методами.
- Выберите сегмент пользователей.
- Если можно провести кабинетное исследование — проведите. Если можно им ограничиться — ограничьтесь.
- Сформулируйте цель исследования. Разбейте цель на задачи. Если вам не ясно, что вы хотите узнать, даже не начинайте.
- Убедитесь, что задача исследования — не брак (вы точно знаете, для чего вам информация, которую вы получите в результате исследования).
- Накидайте гипотез под каждую задачу.
- Обсуждайте гипотезы с командой.
- Сформулируйте вопросы, ответы на которые позволят вам подтвердить или опровергнуть каждую из гипотез.
- Не затягивайте исследование. У него должен быть максимально короткий цикл.
- Спрашивайте не о гипотетическом, а о реальном опыте пользователя — не о том, что человек сделал бы, а о том, что он делает сейчас или делал в прошлом (как решал проблему).
- Меньше говорите, больше слушайте.
- Не слушайте лесть, добивайтесь критики.
- Постройте список вопросов по принципу от общего к частному, от простого к сложному.
- Не становитесь единственным источником правды о клиентах. Обсуждайте результаты исследования с командой.
- Создавайте кросс-функциональные команды и синхронизируйте эксперименты (чтобы одни не влияли на другие).
- Придумайте удобный способ хранения результатов всех ваших исследований.
«Если в компании культура “делать пользу пользователю”, то внутри, пусть не внутри каждого процесса и каждой фичи, но должна быть какая-то искра, которая зарождает исследование. Ты такой: “Я не уверен”. И в этом момент ты должен поговорить с пользователем, чтобы выяснить, почему ты не уверен. Так мы стараемся делать».
И помните, что завещали нам ребята из Skyeng, которые съели собаку на исследованиях: смешанные методы — это круто, операционные процессы – точка роста, а внутренние исследования — источник инсайтов. Аминь.
Спасибо Алисе, Максиму, Кате и Диме за то, что поделились знаниями и опытом ?
Маша Бурдина
Главный редактор блога Carrot quest
Дмитрий Сергеев
CEO, Carrot quest и Dashly