Кейс Carrot Quest: Что такое HADI-циклы и как с их помощью ускорить развитие проекта

Руководитель компании AppCraft Илья Красинский, команда сервиса для общения и управления пользователями на основе их поведения Carrot Quest, а также представители фонда ФРИИ провели воркшоп, главной задачей которого было улучшение юнит-экономики пяти стартапов с использованием методологии HADI–циклов.

Дмитрий Солдатов из команды Carrot Quest подготовил для рубрики Growth Hacks материал на основе прошедшего воркшопа.

HADI-циклы — это один из инструментов методологии, с помощью которой в акселераторе ФРИИ «прокачивают» стартапы. Суть HADI очень проста. Почти любое действие оказывает влияние на какую-то определенную метрику. Если изменения «прикрутить» к показателям заранее (сформулировать гипотезы), то весь процесс изменений будет контролируемым. Словом, вы будете понимать, как ваши действия повлияли на результат, и сможете быстро тестировать идеи, отбрасывая нерабочие.

Вот как выглядит HADI-цикл:

Гипотеза (Hypothesis). Записываем гипотезы, то есть изменения (ваши действия), которые могут улучшить показатели вашей экономики. Например: «изменение заголовка увеличит конверсию в регистрацию на лендинге на 5%». В первую очередь, нужно генерировать гипотезы по тем показателям, изменение которых важно в ближайшее время. Это значит, что если есть проблема с конверсией в регистрацию, то необходимо генерировать те идеи, которые напрямую повлияют на этот показатель.
Действие (Action). В начале каждого цикла (у нас это каждая неделя) берем несколько гипотез и начинаем их воплощать в жизнь. Например, мы переписываем заголовки, и добавляем туда выгоду для клиента. Главная формула — делать быстро. Если изменение принесет пользу, улучшить его и масштабировать будет несложно. Главное в HADI — это оперативная проверка.
Сбор данных (Data). Начинаем сбор данных о показателях, на которые повлияет изменение. В нашем примере это конверсия в регистрацию. Чтобы показатели отражали реальные изменения, выборка (количество посетителей за время тестирования) должна быть репрезентативной. Об этом подробнее поговорим дальше.
Выводы (Insights). Анализируем, сработала ли гипотеза. Если да, то планируем ее улучшение, масштабируем.

Не все гипотезы будут подтверждаться. Чтобы не терять время на слабые гипотезы, можно использовать специальный алгоритм ранжирования, который мы разберем ниже.

Не проверяйте одновременно несколько гипотез, которые влияют на одну метрику, так как вы не поймете, какая именно гипотеза сработала, что изменило показатель. Например, изменили описание продукта на сайте и сделали другую систему оплаты. Количество покупок упало, почему? На этот вопрос ответ найти будет сложно.

О практике HADI

В воркшопе участвовали пять стартапов:

Carrot Quest (сервис для общения и управления пользователями на основе их поведения, это мы);
LPmotor (сервис по быстрому созданию лендингов);
SkyparkCDN (CDN, сервис доставки контента, ускоряют загрузку контента);
PlayKey (облачный игровой сервис, который позволяет запускать современные игры на любом устройстве);
Capsidea (сервис для визуализации данных).

В процессе работы подключилось еще несколько команд.

Мы с Ильей Красинским проанализировали лэндинги всех стартапов, о чем напишем отдельную статью. После анализа каждый стартап уже знал свои проблемные места и понимал, в каком направлении начинать работу.

Команды с помощью мозгового штурма записали ряд гипотез, которые позже занесли в специальную таблицу.

Вера в эффект показывает, насколько команда верит в данную гипотезу. Сложность реализации отражает, как много ресурсов потребуется для проверки гипотезы (1 — просто, 5 — сложно).

Вот пример нескольких гипотез от разных команд:

Каждая команда сформулировала по 10 разных гипотез.

Чтобы продолжить работу, нужно выстроить гипотезы по приоритетности. Список должны возглавлять самые значимые гипотезы, а слабые должны отбрасываться (чтобы не тратить дорогое время на их проверку). Если вера в эффект низкая, а сложность реализации высокая, то стоит отложить такую задачу.

Далее стартапы в течение недели тестировали свои гипотезы (примерно по 2-3 гипотезы на каждую команду). Для объективности тестов всем проектам была поставлена задача: привлечь 3000 посетителей за неделю. При такой посещаемости доверительный интервал (погрешность) около 1%, а это значит, что если конверсия увеличится или уменьшится больше чем на 1%, то причина тому — наше изменение. Если менее 1%, то это просто погрешность: изменения повлияли незначительно.

Для большинства команд это было первым опытом работы с HADI-циклами. Кто-то проверил 2-3 гипотезы, кто-то успел только 1. Ряд гипотез подтвердились, а некоторые, наоборот, привели к обратному результату (показатели ухудшились).

Неделя — оптимальный срок для коротких итераций, в акселераторе команды анализируют свои HADI-циклы раз в неделю на субботнем трекшн-митинге, и на нем же ставят план по тестированию гипотез на следующую неделю, это помогает им фокусироваться. Основная ценность для стартапа в том, что каждая команда быстро проверяет несколько идей и видит, какие из них работают. Также команда получает обратную связь, если при этом показывает свои результаты экспертам и другим командам в Акселераторе или на подобном воркшопе.

Пример работы с гипотезами от Carrot Quest

Небольшая вставка о нас, чтобы вы понимали нашу специфику. Carrot Quest — это сервис для общения и управления пользователями на основе их поведения. Мы объединили инструменты интернет-маркетинга: eCRM, онлайн-чат, всплывающие окна, email-рассылки и веб-аналитику. Наша целевая аудитория — это SaaS-сервисы, интернет-магазины и интернет-проекты.

Главной задачей для нас было увеличение конверсии в регистрацию, поэтому мы выстраивали свои гипотезы именно под этот показатель.

Вот работа над одной из гипотез:

Как было:

Мы решили показать, что лидеры различных сегментов рынка уже используют автоматизацию маркетинга и персональные коммуникации в своих проектах. Нашли те компании, которые точно автоматизируют маркетинг, и использовали их названия в заголовке.

Как стало:

В этом заголовке названия компаний менялись (Ikea, Kaspersky, Intel и так далее). Остальные заголовки и кнопки на странице мы тоже изменили.

В итоге роста конверсии в связи с этим мы не увидели. Поэтому уже тестируем следующие гипотезы. Если интересно, какие результаты получились в следующих тестах — пишите в комментариях, расскажем.

Присылайте собственные кейсы, в результате которых вам удалось заметно улучшить (или, наоборот, ухудшить) показатели проекта. Интересные эксперименты обязательно попадут на страницы рубрики Growth Hacks.