Источник: Редакция GoPractice, 25 октября 2023. Соавторы — Анна Кон (соосновательница TobyLab) и Виктор Буто (тимлид продуктовых исследований, автор канала Stickman PM).
Исследования помогают в принятии решений при работе над продуктом на любом этапе, сокращая риски и снижая издержки проверки идей. Разумеется, исследования никогда не дают 100% уверенности или гарантии успеха, но могут значительно сохранить время команды и деньги компании.
Качественные исследования — наиболее распространённый инструмент в арсенале продакт-менеджера в сборе информации и проверке своих гипотез. Но здесь возникает соблазн использовать их для любого типа задач — где можно и где нельзя. Поэтому важно понимать специфику и ограничения качественных исследований, про которые мы расскажем ниже.
В этом материале мы собрали основные знания по качественным исследованиям, которые пригодятся в работе продакт-менеджера. Расскажем про основные методы качественных исследований, когда их применять и как правильно делать выводы. А также подробно пройдёмся по всем этапам проведения пользовательских интервью и дадим практические рекомендации для каждого из них.
Качественные исследования отвечают на вопросы «Как?» и «Почему?».
С их помощью формулируются гипотезы, которые затем могут проверяться количественно, то есть на данных опросов или поведенческой статистике.
Ключевая цель «качественника» — понять само явление: как люди думают, какие у них мотивы, структура принятия решений, как они пользуются продуктом.
С помощью качественных методов нельзя что-то посчитать, оценить долю, распространённость. Для этого используются количественные методы. То есть, например, некорректно на данных серии интервью или юзабилити-тестов делать выводы «5 из 10, то есть 50% клиентов назвали эту проблему». Дело в том, что сама методология не подразумевает экстраполяцию результатов исследования на всю генеральную совокупность, то есть всех ваших пользователей. Другими словами, вы не можете сказать, что все ваши пользователи будут вести себя так же, как респонденты на тесте вашего прототипа.
Это не значит, что качественные исследования плохие, неправильные или ненадёжные. Просто у этой методологии немного другая задача: понять суть явления, разобраться в причинах. Это очень важная информация для принятия решений.
Выборка на качественное исследование не должна повторять по структуре генеральную совокупность. Например, на интервью вы можете набирать респондентов по разным принципам: «типичный представитель», «радикальные случаи» — в зависимости от цели исследования.
В самом общем виде в качественной социологии есть разные вариации интервью и групповых дискуссий, наблюдение и дневниковые исследования. Продуктовые команды чаще всего используют:
Глубинные интервью и юзабилити-тесты часто сочетают в рамках одного проекта, то есть довольно типично проведение юзабилити-теста с элементами интервью.
Все эти методы решают разные задачи, с которыми сталкивается в своей работе продакт-менеджер.
Если коротко, то исследования можно применять на всех этапах развития продукта.
Все дискавери-процессы так или иначе включают получение дополнительной информации, когда:
Сбор обратной связи на существующий продукт / решение:
Иногда же в исследованиях нет необходимости, они нецелесообразны.
Сюда относятся ситуации, когда решение уже принято или изменения в продукт невозможно будет внести по разным причинам (нет ресурса команды, другой фокус).
Этот пункт выглядит очевидным, но на практике такие ситуации случаются регулярно. Например, когда команда хочет получить дополнительное подтверждение своей позиции и не готова к альтернативным исходам.
Иногда возникает желание провести исследование, чтобы расширить свой кругозор, но без чёткого понимания, как эти результаты помогут бизнесу. В этом случае нужно трезво оценивать целесообразность таких проектов и учитывать наличие у компании ресурсов на деятельность, которая не будет приносить результата здесь и сейчас.
Так тоже бывает. Иногда новые фичи можно очень просто и быстро реализовать, а потом без больших рисков протестировать на реальной аудитории продукта для получения обратной связи. В этом случае исследования будут лишней тратой денег и времени.
Некоторые задачи очень сложно воспроизвести в «лабораторных» условиях. Это часто неосознаваемое действие, поведение пользователя, совершаемое в определённом контексте при сочетании нескольких факторов. Например, точечная оптимизация дизайна интерфейса на повышение конверсии в покупку или просмотр рекламы.
Теперь сфокусируемся на самом популярном методе исследований в работе над продуктом — интервью с целевой аудиторией или пользователями. Для простоты ниже будем описывать ситуации применения для B2C-продуктов. В работе над B2B-продуктами есть свои нюансы, на которых мы не будем заострять внимание в этом материале.
Любое исследование состоит из определённого набора шагов. Их содержание может меняться в зависимости от целей и типа, но суть на каждом этапе остаётся одна. В качественном исследовании у вас будет следующий набор шагов:
Рассмотрим каждый из этапов чуть подробнее.
Это самый важный этап по одной простой причине — вы не сможете откатить его обратно. Если вы сразу правильно не определили понятную и конкретную цель, то будете двигаться не в ту сторону. Как итог, никто не сможет применить результаты вашей работы.
Идея о том, что «надо сначала узнать цель», может показаться вам слишком очевидной. Но едва ли целью всё ограничивается. Вам нужно узнать сразу несколько важных вводных. Ниже приводим самые критичные для качественного исследования.
Это базовый вопрос. Узнайте не только цели исследования, но и цели компании: краткосрочные и долгосрочные. Как они связаны? Какие задачи для бизнеса мы хотим решить по итогу исследования? На какие метрики ориентируемся?
У исследования может быть несколько целей или ключевых вопросов, и это нормально. Но не берите слишком много. Формат качественного исследования ограничен. Мало кто согласится общаться с вами два часа. Обычно за час можно глубоко пройтись по двум-трём основным вопросам. Например, таким:
Барбара Минто в своей книге The Pyramid Principle даёт отличный фреймворк для определения контекста.
Обычно к вам приходят с вопросом: нам нужно найти перспективный сегмент. Но важно понимать и то, что было до этого, откуда появилась потребность для исследования. Тогда вы сразу поймёте ограничения и смысл своего кейса.
Вам нужно понимать, в каком формате ожидается результат. Иногда это большая схема в Miro, иногда презентация, а часто даже — простая табличка с гипотезами.
Узнайте, кто конкретно и как будет применять результаты. Если вы сами — представьте, какую задачу вы создадите по итогу и что возьмёте из исследования для её описания. В случае внешних заказчиков всё зависит от роли и цели. Маркетолог может фокусироваться на ярких болях и эмоциях, продакт — на jobs-to-be-done, CEO — на общем понимании сегмента.
В любом случае, вам нужно сделать отчёт, удобный для конечного пользователя. Узнайте, какой формат будет удобен заказчику. Спросите, какие конкретные решения будут приниматься на основе исследования.
Это поможет представить финальный формат результата.
Исследование не тех сегментов — одна из основных ошибок «качественников». Определите на берегу, какие ключевые параметры есть у целевой аудитории? Кого нужно идти опрашивать? Кого точно не нужно? По каким параметрам мы поймём, что нашли нужных людей?
Эта информация пригодится вам для составления скринера. Как его составить и отфильтровать нужную вам аудиторию, поговорим чуть ниже.
Дизайн исследования — это по своей сути перевод бизнес-задач и целей в задачи конкретного исследования. Вы берёте вопрос, декомпозируете его и подбираете инструменты для решения.
Чтобы декомпозировать вопрос, разложите его на мелкие составляющие, чтобы он выглядел менее угрожающе.
Например, вы проводите глубинные интервью по JTBD и хотите понять, какие проблемы были у пользователей. Для этого вам надо понять:
Так один вопрос разложился на четыре составляющих.
Основной ваш инструмент — скрипт исследования или гайд. В нём находится список вопросов, которые вы хотите прояснить. Поэтому выбор инструментария сводится к подбору нужных вопросов для скрипта.
Обычно я стараюсь структурировать скрипт по блокам, которые отражают цели интервью. Если у меня есть цели «узнать jobs-to-be-done» и «узнать проблемы», то в скрипте будет два основных блока: с вопросами про задачи и вопросами про цели. Это помогает вести трекшн и не забывать, зачем мы разговариваем с человеком.
В процессе рекрутинга решаются две задачи: скрининг респондентов и непосредственно рекрутинг.
Скрининг нужен для того, чтобы отсеять нецелевых респондентов. Вы же не хотите тратить время тех людей, кто никогда не купит ваш продукт? Тогда вам нужно убрать их из выборки.
Это делается квалификационным опросником (скринером). Вы составляете список вопросов и определяете ответы, по которым вы будете отсеивать респондентов. Примерами таких вопросов могут быть:
Задавайте свои квалификационные вопросы перед глубинным интервью. Например, в чате, в специальной гугл-форме с вопросами. Или сразу в объявлении о наборе респондентов подробно прописать, кого ищете. Главное — отсеять лишних респондентов до интервью.
Иногда найти аудиторию просто: можно взять базу своих клиентов и опросить их. Но когда надо искать потенциальную аудиторию, ещё и бесплатно, тогда начинаются трудности. Однако есть разные способы с ними справиться.
Самый простой вариант — поразмышлять о том, где находится ваша целевая аудитория: какие соцсети, какие чаты и коммьюнити, куда они ходят, кого они смотрят и т.д. Каналы для рекрутинга появятся сами.
Способов рекрутинга много, и не всегда знаешь заранее, какой сработает. В качестве идей — ниже несколько платных и бесплатных.
Условно бесплатные: вы не платите за поиск и подбор респондента, но вознаграждение самому респонденту чаще всего придётся заплатить, чтобы набрать людей на исследование.
Одни лишь статьи в интернете не помогут вам достичь совершенства в проведении интервью. Нужна практика, умение докапываться до сути вещей в разговоре и исследовательское любопытство. Однако расскажу про несколько базовых вещей, про которые стоит помнить.
В интернете можно найти много рекомендаций по «правильному» проведению интервью, но не стоит доверять всем слепо.
Мы предлагаем вам структуру для изучения темы исследований и несколько ключевых ориентиров. Для глубокого погружения в тему рекомендуем ознакомиться с базовыми принципами работы мозга и мышления, например классику от Даниэля Канемана «Думай медленно… решай быстро». Также рекомендуем почитать других экспертов российского рынка исследований: эту статью Константина Ефимова и эту подборку заметок про исследования от Дмитрия Соловьёва.
Не забывайте проверять теорию на практике, тестировать и прислушиваться к здравому смыслу.
В начале интервью нужно обозначить, что ожидает человека. Обычно люди не в курсе или не помнят, кто вы, что от них хотите и что сейчас будет происходить. Расскажите о себе и о том, почему обратились именно к этому человеку, на какую тему будет интервью и сколько времени займёт звонок. Обязательно сделайте запись вашего общения, предварительно спросив разрешения у респондента.
Попросите человека рассказать о себе. Проведите small talk, установите дружественный контакт, разогрейте собеседника. Не стоит загружать человека сложными вопросами в первые 10 минут общения.
Хороший признак того, что вы не копаете достаточно глубоко — вы просто зачитываете вопросы один за другим и не задаёте уточняющих вопросов. Суть качественных исследований — разобраться, почему и как что-то работает в голове у пользователя. Ответ почти никогда не лежит на поверхности. Вам нужно уточнять: через пять «почему» или другими способами.
Помните: вы не обязаны зачитывать вопросы один за одним и задать их все. Углубляйтесь туда, где чувствуете потенциал для инсайтов. Ничего страшного, если вы перескочили на другую тему. Представьте, что респондент — это лодка, а вы — рулевой. Вы плывёте по течению, но можете направлять лодку по своему усмотрению.
Достаточная уверенность для гибкого интервью приходит со временем. Когда вы хорошо запомните вопросы и набьёте руку, то научитесь рулить так, как вам будет угодно. Тогда ваши интервью будут более органичными и вы не пропустите ничего важного, переключаясь на другую тему.
Часто случается, что респондент спонтанно выходит на какую-то тему из вашего списка вопросов, хотя вы планировали поговорить об этом после трёх других блоков. Здесь важно не теряться и подхватить тему, потому что если вы не дадите респонденту сказать в этот момент, потом он может об этом забыть, а вы упустите важные детали.
Не давайте подсказок на возможный ответ или вашу гипотезу. Если хотите узнать, нужны ли пользователям фильтры при поиске, не спрашивайте про них. Попросите описать, как они пользуются поиском. Если фильтры там не будут упомянуты, вероятно, они не так сильно важны. А если вы спросите про фильтры напрямую, то пользователи могут выдумать причину их важности, раз вы акцентировали на этом внимание.
Люди с радостью готовы помочь вам сделать классный продукт. Часто они чувствуют себя достаточно уверенно, раз вы их позвали на интервью. Поэтому они могут начать предлагать вам свои решения. Поблагодарите респондента за мнение, но не ориентируйтесь на эти рекомендации. Фокусируйте человека на его опыте и его проблемах. Пользователь не знает, какое решение для него лучше: это ваша работа.
Это очень распространённая проблема. Пользователи не хотят врать. Они просто хотят казаться лучше, чем это есть на самом деле.
Учитесь распознавать, где люди лукавят. Пробуйте приземлить сказанное на опыт. Человек говорит вам, что часто ходит в тренажёрный зал. Спросите его, сколько раз он был там за последний месяц. Велик шанс, что он ответит вам «ни разу».
Такое случается постоянно. Старайтесь достать факты. Когда? Сколько? Просите рассказать подробнее и вспомнить последний случай.
Ещё есть базовые искажения памяти и восприятия. Например, наша память схлопывается, и мы помним события трёхлетней давности, как будто они были год назад. Если вам важны такие детали, актуализируйте воспоминания, спросите про контекст ситуации, что было в этот момент. Тогда есть возможность получить более корректные данные.
В процессе проведения интервью можно забыть про цель. Это случается постоянно. Попробуйте поставить три будильника на день в любое время, а когда он зазвенит ответьте на вопрос «А какая цель у того, что я делаю?». Почти всегда вы делаете не совсем то, что нужно. Так мы устроены, поэтому вам как интервьюеру полезно возвращаться к цели.
Как это делать? В процессе исследования проводите мини-ретроспективы. Ответьте на вопрос: помогают ли текущие результаты ответить на вопросы исследования? Что нужно поправить? Часто надо добавить новых критериев в квалификацию, добавить или убрать вопросы из скрипта.
Ни один скрипт нельзя составить идеально с самого начала. Если в процессе общения он у вас не меняется — скорее всего, ничего нового вы не узнаете.
Здесь мы анализируем то, что собрали в ходе полевых работ (интервью). Это нужно, чтобы отделить важное от неважного, найти закономерности и инсайты. В качественных исследованиях этот этап обычно состоит из транскрибации (расшифровки) и самого анализа.
Сервисы, которые транскрибируют речь в текст, становятся всё лучше и доступнее.
По моему опыту, самые точные крутятся на движке Whisper. С русским языком справляются очень хорошо. Для него я использую вот это решение. Для других языков можно посмотреть Dovetail, TL;DR, встроенные инструменты Zoom, YouTube. Есть ещё такая подборка различных способов завести Whisper у себя на устройстве.
В процессе анализа качественных данных вы пробуете сопоставить разные сущности и собрать из этого цельную картину мира.
На самом деле, из качественных исследований можно достать массу вещей.
Вот несколько навскидку: контекст или текущая ситуация, цели, jobs-to-be-done, user journey, триггеры, решения, опыт выбора и использования решения, инсайты, проблемы и потребности, страхи, барьеры, эмоции, оценки и прогнозы, истории.
Работайте с тем, что вам нужно узнать в рамках исследования. Например, я пишу краткие заметки самых интересных мест. По итогам интервью у меня получаются основные хайлайты, которыми удобно поделиться с командой. Если что-то зацепит мой глаз или будет интересно команде, то я могу углубиться в запись интервью и достать детали.
Когда будете переслушивать запись, вы можете обратить внимание на интересные темы, которые пропустили в процессе разговора. К сожалению, так случается довольно часто. Вы удивитесь, как много вы не услышали в процессе самого интервью, потому что думали над следующим вопросом или отвлекались на что-то ещё. Находите эту потерянную информацию и выделяйте для себя.
Оформлять её можно как угодно. Это могут быть отдельные страницы в Notion, созданные под jobs-to-be-done или ключевые боли пользователей. Могут быть теги, которыми вы разметите свой текст. Специализированные решения вроде Dovetail дают разные инструменты для разметки и анализа текстового полотна.
Итоговый вариант анализа может выглядеть по-разному. Где-то нужна большая схема в Miro, где-то развёрнутая таблица со строками по вопросам гайда и столбцами с ответами респондентов, где-то достаточно простого слайда. Не увлекайтесь процессом оформления. Вспомните, какой формат от вас требуется и зачем нужна вся эта информация. Лучше сделать кратко и лаконично, чем красиво и бесполезно. Большинство информации не релевантно для ваших целей.
И ещё одна тонкость: не игнорируйте противоречивые факты. Вам захочется создать стройную картинку. И когда одно интервью будет противоречить вашим находкам, у вас появится желание его проигнорировать. Не делайте этого. Сохраняйте исследовательскую непредвзятость, даже если она нарушает стройность ваших находок. В этом случае такие заметки особенно ценны.
Итак, мы уже провели анализ, нарисовали красивые схемки и сделали выводы. Разве нужно что-то ещё?
Здесь и случается главное заблуждение тех, у кого пока мало опыта в исследованиях. Анализ не помогает решить задачи бизнеса. Он констатирует факты. Когда вы делаете синтез, вам нужно превратить факты в руководство к действию. Это отдельная работа. Вам нужна actionable-информация, то есть та, которая описывает конкретные следующие действия.
Когда вы делаете исследования для себя, то с этим нет проблем. Вам придётся доделать исследование, потому что оно нужно для вашей работы.
Если же вы делаете для другого человека, то попробуйте такое упражнение. Представьте, что по итогу исследования вам самим нужно внедрять изменения на основе полученных данных. В таком случае сразу всплывают все белые пятна и слабые места, на которые уже не получится закрыть глаза.
Вернёмся к самой «скучной» части — в начало, где мы узнавали цели и формат. Теперь нужно сделать так, чтобы ваши находки взяли и с минимальными усилиями применили в бизнесе.
Эта очень важная часть исследования, поэтому не стесняйтесь тратить на неё дополнительные ресурсы. Всё же результат будет зависеть от качества придуманных решений. Именно их вы и создаёте на этом этапе.
Вовлекайте на этапе синтеза команду — всех, кто проводил исследование или заинтересован в результате. Можете пригласить людей с опытом в этой области. Проведите совместный звонок. Его формат достаточно стандартный:
Суть встречи — возможность соединить находки исследования и опыт экспертов в индустрии. Поэтому в качестве отправной точки нужно выбирать инсайты из исследования. Например, брать конкретную задачу, боль или потребность и пробовать придумать, как её можно решить. Полезно дополнять выводы цитатами респондентов, чтобы погрузить участников в контекст.
В итоге у вас получатся решения, с которыми уже можно работать. До этого у вас на руках были просто наблюдения.
Основной секрет синтеза — глубокое понимание бизнеса. Чем лучше вы понимаете индустрию и бизнес, тем выше качество ваших идей и рекомендаций по итогу исследования. Пока у вас нет экспертизы, старайтесь привлекать опытных людей для генерации совместных решений. Пытайтесь понять логику. Пробуйте разбираться в экономике и понимать, на какие метрики влияют ваши исследования.
Если вы проводите исследования чаще одного раза в год, то рекомендуем подумать над системностью процесса. Это упростит жизнь вам и вашей команде, вы сможете накапливать базу знаний, возвращаться к ней и переиспользовать результаты прошлых исследований.
Во-первых, сделайте общение с пользователями регулярным и привычным для команды. Это поможет снизить барьер тестирования продуктовых гипотез, и меньше непроверенных идей будут уходить сразу в разработку. Встройте исследования в ваш цикл работы в качестве проверки гипотезы. Может быть, в формате теста прототипа или хотя бы интервью с одним пользователем в неделю / в месяц (в зависимости от размера и скорости работы команды), если ресурсов для проведения полноценного исследования нет. Так вы на регулярной основе будете получать новые вводные, не замыкаясь в себе, и у вас появятся оптимизированные под вашу команду процессы. Исследовать все гипотезы и идеи вовсе не обязательно; внутри команды важно настроить свой баланс, что целесообразно тестировать дополнительно. Здесь речь не об этом, а о построении конвейера и формировании исследовательской культуры в уже настроенной продуктовой работе.
Во-вторых, опишите процесс. Сделайте чек-листы, систематизируйте работу, чтобы все знания не хранились в одной голове и каждый участник команды мог подключиться к этой работе.
Наконец, сделайте удобную единую среду для хранения и переиспользования результатов: рисёрч-репозиторий. Это может быть таблица с инсайтами или UX-проблемами. Такая база данных помогает заонбордить новых участников команды, погрузить их в контекст, отслеживать хронические проблемы в продукте, увидеть тенденции, которые сложно обнаружить в рамках одного проекта.