Как определить цели и задачи экспериментов для выявления лучшей конверсии на проекте

Менеджер проектов агентства Performance Media Наталья Стурза написала для рубрики Growth Hacks материал о том, как она и её коллеги занимаются оптимизацией конверсии для увеличения числа заявок на обучение .

Стоит написать пару депрессивных постов в Facebook, чтобы на следующее утро тебе объявили: «А давай-ка ты напишешь подробную инструкцию о том, как занимаешься оптимизацией конверсии, вдруг (не дай Б-г, конечно) тебя машина переедет, что мы потом будем делать?» Инструкция решила вылиться в статью, чтобы быть полезной не только внутри компании, но и вовне.

В оптимизации конверсии все сводится к приоритезации времени: нужно создать хорошие варианты, чтобы показать посетителям. Чем большее число посетителей вам необходимо, тем дольше будет длиться эксперимент. Чем сложнее ваши варианты, тем больше времени на разработку они потребуют.

При определении нового эксперимента нужно выделять приоритеты. И их нужно выделять научно, чтобы знать, какие эксперименты окажут наибольшее влияние на показатель конверсии. Так делает Pinterest, и так делаем мы. В этой статье я расскажу, как Performance Media проводит оптимизацию конверсии проектов.

1. Выберите правильные цели и метрики

Перед началом оптимизации нужно определиться с правильными метриками и целями оптимизации.

Цели

В самом начале мы должны определиться с целью оптимизации и временем, которое готовы на это потратить. Разработка и реализация действительно серьезного эксперимента требует времени и нескольких последовательных шагов. Плюс в том, что правильная приоритезация, выполненная на основе данных, экономит время и позволяет достичь более высоких результатов в долгосрочной перспективе, даже если это требует больших вложений в начале. У оптимизации конверсии одна цель — увязать поведение посетителей с вашими бизнес-целями.

Вы хотите, чтобы посетители нажимали кнопки, заполняли формы и выполняли миллион других целей, которые связаны с успехом вашего бизнеса? Тогда испытания должны приоритезироваться на основе ROI.

Метрики

ROI является выгодой, деленной на инвестиции. У нас инвестиции — это стоимость времени на реализацию эксперимента. Такие тесты, как изменение CTA, размера или цвета кнопки довольно просты в реализации. Другие тесты очень сложны в реализации и требуют усилий ваших разработчиков и дизайнеров. Можно посчитать общую сумму расходов на эксперимент, если взять ставку часа специалиста и умножить на сумму часов, необходимых на реализацию. Теперь возьмите потенциальную выгоду и разделите на стоимость реализации, чтобы получить ROI данного теста.

2. Выделите приоритеты

Так как мы сказали, что приоритезация экспериментов должна быть научной, то она должна основываться на данных. Здесь за основу был взят подход Тристана Хэнди, директора по маркетингу RJMetrics.

Где взять данные?

Используйте инструменты веб-аналитики.

Большинство маркетологов используют Google Analytics, поэтому остановимся на нем. GA не имеет стандартных отчетов, построенных на данных, необходимых для приоритезации, такая настройка требует дополнительных усилий. Зато GA дает возможность делиться настройками кастомизируемых отчетов. Вот такой отчет будет содержать список страниц вашего сайта, количество просмотров и количество достигнутых конверсий на каждую страницу. На его основе вы сможете легко рассчитать текущий показатель конверсии на каждой из страниц.

При просмотре своего отчета отсортируйте самые просматриваемые страницы. Ваши основные цели оптимизации будут находиться в верхних и самых посещаемых страницах. После того, как вы узнаете свои топ-страницы, подтяните данные по целям для каждой страницы.

3. Оцените влияние

После того как мы продумали, что будем оптимизировать, необходимо спланировать эксперимент. Как именно оценивать потенциальную выгоду от проведения эксперимента? В расчете выгоды можно использовать формулу — общее число посетителей, которых затронет выигрышный вариант, умножаем на потенциальное увеличение конверсии, если эксперимент будет успешен. В общем виде это выглядит вот так:

Рассмотрим на примере нашего проекта, цель которого — приводить посетителей на LP и мотивировать их заполнять заявку на дистанционное обучение.

Составляем вот такую таблицу приоритетов для проведения экспериментов на данном проекте. Таблицу можно скопировать и использовать при разработке приоритетов в своих экспериментах.

На основе опыта проведения предыдущих экспериментов мы выделили несколько простых гипотез и рассчитали процент увеличения конверсии по каждой. Как обосновать увеличение конверсии, читайте в четвёртом шаге.

4. Обоснуйте конверсию

Если вы хотите запустить какой-то эксперимент, для начала необходимо сформировать гипотезу о результатах, которых можно достичь по отношению к исходному варианту. Без увеличения конверсии вы не будете иметь возможность рассчитать значение испытания. Предсказание трудно сделать. Результаты тестирования полны сюрпризов, поэтому невозможно заранее стопроцентно предсказать результаты каждого теста. Но, используя логику, вы можете сделать некоторые разумные обоснования. Существует несколько рекомендаций по написанию обоснованной оценки улучшения конверсии в ходе эксперимента. Вот они:

Проводить параллель с другими похожими страницами вашего сайта. Если у вас есть страницы/сайты с аналогичной функциональностью, но показывающие лучшую конверсию, можно повторить их опыт.
Провести параллели с другими запущенными тестами. Вы замеряли результаты подобного изменения дизайна в других экспериментах. Значит, можно получить улучшение при подобном преобразовании и на данном проекте.
Посмотрите кейсы и аналитику по оптимизации конверсии продуктов, схожих с вашим. Помните, что каждый сайт уникален, но если у вас нет соответствующего опыта, кейсы — это хорошее начало.

Важно помнить о том, что ваша оценка повышения конверсии всего лишь предсказание, и эксперимент не должен ему соответствовать.

5. Подумайте над мультивариантностью

В нашей работе вся конверсия сосредотачивается на одной целевой странице, весь трафик ведется на нее. Проблема в том, что нельзя проводить одновременно несколько A/B-тестов на одной странице.

Сейчас мы пришли к пониманию того, что нужно проводить именно мультивариантное тестирование и приоритезировать проведение тестов на странице, потому что в количественном выражении это показывает наиболее высокие результаты при тестировании. Мультивариантное тестирование является находкой для дорогостоящих сайтов — при мультивариантном тестировании сокращается время и стоимость проведения по сравнению с A/B-тестированием. Мультивариантное тестирование позволяет выявить влияние нескольких переменных друг на друга в рамках одной цели.

К моменту написания статьи мы подвели итоги проведения первой волны мультивариантного эксперимента. Как видно из таблицы, мы взяли 2 верхних приоритетных показателя. Обоснование конверсии и приоритетность рассчитывались исходя из предыдущего опыта в данной сфере. Если у вас несколько целей, то исходя из их потенциальной выгоды и себестоимости разработки эксперимента, вы сможете выбрать наиболее приоритетные переменные для мультиэксперимента.

В нашем случае это две гипотезы:

Светлый баннер позволит увеличить конверсию на +30%;
Контрастная красная кнопка на желтом фоне позволит увеличить конверсию на +70%.

Цель — увеличить количество отправленных заявлений на дистанционное обучение.

Составляем матрицу из вариантов переменных. Мы не берем три и больше переменных, так как их сочетание увеличивает размерность матрицы, например, четыре переменные по три варианта это четырёхмерная матрица 3х3х3х3. Таким образом, получается 81 сочетание, 81 страница. Согласитесь, гораздо сложнее отследить взаимное влияние и запустить трафик на 81 вариант, нежели на две волны мультивариантного эксперимента по девять страниц (3х3).

Итак, у нас есть четыре варианта баннера (A, B, C, D) — два светлых и два темных вместе с оригиналом, два варианта кнопки (A, B), где А — оригинальная желтая кнопка на красном фоне, B — красная кнопка на желтом фоне. Составляем матрицу вариантов путем пересечения переменных:

Таким образом, зная, что первая буква после слеша — вариант кнопки и формы, а вторая буква — вариант баннера, мы можем создать варианты страниц на указанных директориях. Например, директория landing_page.ru/aa — полная копия исходной страницы, т. к. и баннер, и кнопка оригинальные, landing_page.ru/bb — вариант с красной кнопкой и желтым фоном плюс баннер В.

Вместе с оригинальным вариантом получается девять страниц. Использование варианта AA — это своеобразное A/A-тестирование внутри текущего эксперимента. С его помощью можно судить о достоверности эксперимента, одинаковые варианты должны отличаться друг от друга не более чем на 1-3%.

6. Настройте эксперимент

Испробовав десяток сервисов по A/B-тестированию, мы пришли к выводу, что каждый из них имеет свои недостатки, а в целом все они непригодны для полноценного проведения эксперимента. Мы поделились аналитикой с комментариями по каждому инструменту и стали использовать GA Experiments.

После создания всех вариантов страниц можно начать настраивать GA-эксперимент.
Важно: предварительно на вашем сайте необходимо установить и протестировать Google Analytics и настроить цели, а для дальнейшего анализа тепловой карты можно настроить и «Яндекс.Метрику».

Создание эксперимента в GA состоит из ряда последовательных настроек. Основные:

Выбор процента трафика, который будет участвовать в эксперименте. Можно пустить на эксперимент и весь трафик или только его часть — 25%, 50%, 75%.
Настройка цели эксперимента — выбираете достигнутые конверсии настроенной цели и сможете видеть изменение коэффициента конверсии на каждом из вариантов.
В дополнительных настройках обязательно поставьте минимальное время исполнения эксперимента — одна или две недели, смотря какие у вас объемы трафика. Две недели не будут лишними. Ga Exp по истечению срока спешит отключать эксперимент даже без достижения порога достоверности. Установив две недели, вы обезопасите себя от отключения, лишних действий по настройке нового эксперимента и смене скриптов на всех вариантах.
Когда вы введете URL всех страниц, включая исходный вариант, то получите вот такую матрицу:

После сохранения страниц сформируется код эксперимента, который нужно вставить на все тестируемые варианты страниц. Код можно переслать разработчику прямо из сервиса. Проверить размещение кода на всех вариантах можно здесь же.

Теперь вы можете запускать эксперимент и ждать первых результатов. К сожалению, они обновляются не моментально и даже не в течение 15-30 минут, а только по истечении суток.

7. Интерпретируйте результаты

Чтобы определить время подведения итогов, необходимо утвердительно ответить на несколько вопросов:

Есть ли на каждом из вариантов страниц по +1000 посещений, либо на одном из вариантов около 100 достижений цели?
Прошла ли хотя бы одна, а лучше две недели после запуска теста?
Отличается ли AA-вариант от исходного варианта менее чем на 3% в течение нескольких дней? Не путайте с коэффициентом конверсии цели.

Если вы утвердительно ответили на каждый из трёх вопросов, значит, достоверность результатов эксперимента у вас достатоно высока, и пришло время интерпретировать результаты!

Смотрим на результаты эксперимента:

Эксперимент длился 21 день, на последней неделе показатели конверсии на каждом варианте и на AA-варианте варьировались в пределах 3-5%.

С помощью тепловой карты из «Яндекс.Метрики» (Cчетчик → Поведение → Карта кликов) можно проанализировать поведение пользователей на каждым варианте за выбранный промежуток времени. После открытия карты добавляем в адресной строке директиву варианта и смотрим кликабельность элементов.

При анализе тепловой карты проектов можно сделать много поразительных и интересных открытий, которые позволят сформировать гипотезы и построить следующие тесты.

Итак, интерпретация результатов на основе Ga Exp и тепловых карт вариантов. Рассмотрим подробнее два варианта с наибольшей и два варианта с наименьшей конверсией.
Исходная страница:

Увеличение конверсии на 61%

Наблюдаемое увеличение конверсии на 61% принес вариант, подтверждающий обе гипотезы — светлый баннер и яркая красная кнопка с желтым фоном. Второй вариант принес меньше, очевидно потому, что изображения девушек больше конвертируются и взгляд мужчины на баннере был направлен вниз. Не на пользователя, не на форму, а в никуда.

Светлые баннеры сработали лучше из-за контрастности с формой. Гипотеза подтверждена.
Кейс о том, что изображения девушек более конверсионны, чем изображения мужчин сработал и у нас. Возможно, если заменить девушку на более симпатичную, это позволит дополнительно увеличить конверсию.

Варианты с низкой конверсией

Самую низкую конверсию показали варианты с темным баннером и не контрастной формой. Расхождения с оригинальным вариантом — 32%. Кликабельность CТA-элементов данных вариантов была самой низкой.

В результате первой волны эксперимента удалось увеличить конверсию на 61% по сравнению с оригинальным вариантом.

8. Вернитесь к началу

Теперь, когда вы провели наиболее приоритетную волну эксперимента, можно вернуться к начальной таблице приоритетов и скорректировать показатели следующих в очереди тестов, а так же сформировать первые записи в вашей пополняемой базе знаний. Основываясь на ней, вы с каждым разом будете создавать более логичные, удобные и более конверсионные варианты.

Я надеюсь, что смогла донести выгодность научного подхода при оптимизации конверсии и рассказать о некоторых инструментах, с которых следует начать. Есть, конечно, и много других улучшений, которые вы сможете привнести в процессе получения опыта.

Но не забывайте, что лучшее — враг хорошего! И каждую гипотезу следует протестировать перед запуском.