Опыт HTML Academy: Как улучшить продукт, отслеживая поведение пользователей

Команда стартапа по созданию онлайн-курсов для веб-разработчиков HTML Academy написала в блоге Spark о том, как им удалось улучшить сервис, отслеживая конверсию .

Когда мы только начинали монетизировать проект в конце 2013 года, у нас не было ни полностью завершённого продукта, ни каких-либо инструментов внутренней аналитики. Были только предположения и ориентиры. Например, что для freemium-проектов хороший показатель продаж составляет 4-5% от зарегистрировавшихся пользователей.

За год многое поменялось. Теперь у нас два завершённых продукта: бесплатный базовый цикл онлайн-курсов и онлайн-интенсив. Подоходит к завершению разработка продвинутого курса, доступного по подписке. Ещё мы сделали несколько внутренних инструментов для построения воронок. Воронки мы условно делим на «бизнесовые» и «продуктовые».

С «бизнесовыми» всё понятно. У многих компаний они очень похожи: «регистрация ⟶ активация ⟶ покупка». Вот наши воронки за последние несколько месяцев.

Как выяснилось, мы вполне стабильно превышаем пятипроцентный уровень покупки подписок. Интенсивы тоже радуют. Кстати, хорошо виден и сезонный спад в июле. В общем, всё неплохо, на развитие проекта и работу команды ресурсов хватает.

«Бизнесовые» воронки скучны. Намного интересней «продуктовые», так как они очень сильно отличаются от проекта к проекту, позволяют улучшать продукт и получить ответ на вопрос: «Не фигнёй ли мы тут страдаем?»

Так как мы образовательный проект, то наши «продуктовые» воронки связаны с уровнем проходимости курсов. Вот пример такой воронки для базового цикла, в котором 16 разделов и более 300 заданий. Воронка когортная: смотрим, как проходят курс пользователи, зарегистрировавшиеся в определённый период.

Когда мы строили эту воронку, выяснилось две вещи:

В среднем курс проходят за 1,5-2 месяца.
В среднем курс завершает чуть меньше 2% пользователей.

Два процента — это немного, но, учитывая сложность курса и жёсткость критериев завершения, это вполне неплохо. Мы считаем, что уровень проходимости должен быть не выше 10%, и это будет отличнейшим показателем. Многим не нужна вёрстка на таком глубоком уровне, многим она оказывается просто неинтересна. Поэтому самое главное — убрать ненужные барьеры и ошибки, чтобы максимальное количество заинтересованных людей могли закончить курс.

Мы начали постепенно улучшать курс. Для начала повысили число проверок испытаний с трёх в день до семи, а потом до десяти. Динамика начала улучшаться — это видно по июньскому столбику, где уже почти 3% завершивших курс.

Затем двинулись дальше — убрали ещё пару ограничений, улучшили процесс регистрации, исправили одну старую ошибку. Всё это привело к тому, что уровень прохождения первого раздела поднялся с 49% до 62%. Июльская когорта ещё не вся успела пройти курс, но текущие 2,1% завершивших уже радуют.

Самая большая работа над курсом впереди. Дело в том, что большинство людей отваливаются либо на чрезмерно сложных, либо на непонятных заданиях, либо на заданиях с ошибками проверки результата. То есть предстоит кропотливая работа с контентом каждого раздела.

Для этого мы тоже создали специальный инструмент, который позволяет видеть в виде воронки, как пользователи проходят задания в разделе. Вот воронка первого курса за апрель.

Отлично видны провалы во 2, 3, 4, 5 и 14 заданиях, когда количество прошедших падает почти на 5%.

С помощью этого инструмента легко искать проблемные задания и исправлять их. И эту большую и серьёзную работу мы только начинаем. В конце августа обновили первый курс из базового цикла. Пока что статистики не так много, но уже точно можно сказать, что «провалы» ликвидированы и общий процент прохождения курса подрос.

Вот такие у нас воронки. А какие используете вы? Какую статистику собираете для улучшения продукта?

Подписывайтесь на Growth Hacks в специальных аккаунтаух на Facebook, Twitter и во «ВКонтакте».

Присылайте свои материалы на what@growthhacks.ru, и вы тоже сможете стать автором рубрики Growth Hacks.