Почему проваливаются А/В-тесты и как этого избежать — советы основателя московских стриптиз-клубов | Цифровой журнал

Директор по развитию агентства интернет-маркетинга Matik, управляющий партнер агентства увеличения продаж Agny, сооснователь двух стриптиз-клубов в Москве — Virgins и Burlesque Артём Овечкин написал заметку о том, почему большинство A/B-тестов проваливается, и почему необходимо уделять больше внимания к его подготовке, чем самому тестированию.

По данным
marketingcharts.com, А/В-тестирование признано самым эффективным методом управления конверсией. Из более чем 1000 опрошенных маркетологов в Европе 60% считает этот вид тестирования страниц наиболее результативным. Другая, очень раскрученная методика — анализ путей движения посетителей по сайту — получила 52% положительных откликов. Наименьшие оценки получила методика сравнения с конкурентами — 26%.

Согласно другому исследованию из того же источника, только один из семи А/В-тестов признается статистически репрезентабельным и удачным. По своему опыту, я могу сказать, что в рунете А/В-тесты пока не вошли в пул обязательных маркетинговых инструментов. Это удел либо крупных, либо наиболее «продвинутых» компаний. Как показывает практика, тестирование — длительный процесс, который может занять от 1 месяца и более.

У нас же большинство компаний предпочитает работать на скорость, а не на качество. Но, принимая во внимание сокращение рынка и нехватку денег в бизнесе, я могу предсказать, что стимул «поскорее потратить деньги» на продвижение значительно утихнет. Более отчетливо проявится тенденция «потратить бюджет с умом, предварительно проведя подготовительную работу». А/В-тестирование — это основательная подготовительная работа, которая может поднять конверсию сайта в разы.

Например, благодаря А/В-тестам мы смогли увеличить конверсию «Корзины» магазина «Дискус» с 1,30% до 3,90%. Было протестировано несколько версий «Корзины», и в заключении мы остановились на совершенно новом дизайне по принципу «все на одной странице».

Однако, как уже упомянуто, большинство тестов показывает незначительные улучшения. Почему это происходит? Я остановлюсь на нескольких причинах.

Твердая почва данных

Главная причина неудач — это отсутствие подготовительной работы. Да, подготовительный этап продвижения сам нуждается в подготовке! Пусть вас это не смущает: тщательнее подготовка — лучше эффект. Пора к этому привыкать!

А/В-тест — это уже финальная стадия процесса. Перед началом проведения теста необходимо собрать следующие данные:

Юзабилити-анализ сайта, выполненный грамотным специалистом. Анализ выявит ключевые ошибки страницы, направит ваше внимание на главное, прояснит, что и для чего нужно тестировать. Юзабилити-анализ — карта местности с начертанными путями движения от точки А к точке В. Сроки юзабилити-аудита зависят от объема и возраста сайта, а также глубины анализа, и варьируются о 1 дня до 2 недель. Стоимость от нуля рублей (базовый анализ «по верхам») до несколько десятков тысяч (глубокий анализ с изучением статистики крупного сайта.
Данные по посещаемости сайта за достаточно длительный промежуток времени (от полугода). Эти данные покажут, как посетители взаимодействуют с сайтом, помогут выявить слабые стороны и направления к улучшению. В правильном случае, юзабилити-аналитик использует данные статистики в своей работе. Стоимость внедрения службы сбора статистики — 0 рублей. Вам помогут Google Analytics и «Яндекс.Метрика».
Наконец, вам пригодится сервис температурного (хит) маркетинга.

Суть предварительных шагов в том, чтобы собрать максимум сведений о текущем состоянии сайта. Ведь для того, чтобы сравнивать А и В, у вас должны быть не только улучшенный вариант В, но и текущий вариант А (контрольный). Иначе непонятно, что именно стало лучше и насколько.

На подготовку пред-предварительного этапа (до А/В-тестирования) у вас должно уйти 60-70% времени. Остальные 30-40% — это собственно создание страниц и запуск тестов.

Теперь у вас на руках твердые данные, что именно не так с сайтом и какие «точки и зоны» с какой целью следует протестировать. Это первое отличие правильных тестов от неудачных. «Неудачники» опираются на интуицию и здравый смысл («красная кнопка «Купить“ должна работать лучше»). Победители держат в руках статистику предыдущих месяцев и подробный анализ аудитора. Вот почему так важно собирать статистические данные с первых дней жизни сайта.

По данным marketingcharts.com, лишь 13% компаний становятся на твердую почву данных. Остальные подключают интуицию и общие представления о том, «что такое хорошо и что такое плохо» в юзабилити сайтов.

Твердое знание клиента

Понимание, почему клиент выбирает именно ваш сайт и вашу компанию — другая часть подготовительной работы. Забудьте про «поисковые запросы». Вам нужно ответить на вопрос, что такого особенного в вас и вашем сайте, что побуждает сделать покупку?

Разумеется, следует ответить и на вопрос-негатив: что такого особенного в вас и вашем сайте, что не побуждает сделать покупку?

Как вы понимаете, пресловутая красная кнопка «Купить» может увеличить конверсию, но если проблема лежит глубже, то оптимизация страницы по верхам (косметические изменения) даст жалкий результат, не стоящий усилий.

На базе ответов на данные вопросы нужно сформулировать гипотезы: что можно сделать, чтобы «нет» превратить в «да».

Известный маркетолог Эрик Райес рекомендует находить ответы с помощью серии вопросов «Почему?». Снова отбросьте интуицию и на этот раз идите «в народ». Спросите как своих клиентов, так и «недоклиентов», почему они выбрали и не выбрали вашу компанию. Несколько раз спросите их «Почему?»:

Почему вы задумались о покупке?
Почему вы кликнули на ссылку нашего сайта?
Почему вы выбрали наш товар?
Почему вы заполнили форму заявки?
Почему вы будете покупать у нас снова?

Как вы поняли, почти каждый вопрос может иметь и свою негативную формулировку.

Лично я не очень советую опираться на автоматизированные онлайн-опросы. Люди склонны отвечать поверхностно, когда не общаются с живым человеком. Лучше опросить десять реальных клиентов лично или по телефону, чем охватить сто человек с помощью бездушной программы. Контакт с живым человеком — вот, что подарит вам инсайт.

Твердый фундамент дизайна

В качестве твердого фундамента для создания дизайна тестируемых страниц эксперты советуют использовать каркасы. Каркасы — или модели — это наброски (схемы) страниц, используемые в качестве гипотез. Впрочем, лучше один раз увидеть, как это выглядит.

Каркасы создаются быстрее готовых дизайн-проектов страниц. На этом этапе отрабатываются гипотезы улучшений и сценарии реагирования посетителя на тот или иной вариант. В некоторых случаях к оценке каркасов можно подключить несколько реальных клиентов. Впрочем, лично я не рассчитывал бы на серьезный эффект от участия «обычных людей», так как оценка гипотез и дизайнов — сложная тема, и не все клиенты обладают достаточным уровнем абстрактного мышления, чтобы дать оценку каркасам.

После того как у вас есть на руках твердая аналитика, отчет об опросе клиентуры и несколько утвержденных каркасов, вы готовы к настоящему А/В-тестированию. Закажите создание на базе каркасов готовых страниц и «запускайте их в мир». И тогда вы попадаете в одну из семи компаний, А/В-тесты которых обеспечивают значительные результаты.

Присылайте собственные кейсы, в результате которых вам удалось заметно улучшить (или, наоборот, ухудшить) показатели проекта. Интересные эксперименты обязательно попадут на страницы рубрики Growth Hacks.