Тесты шиворот-навыворот

О сплит-тестировании сегодня говорят много и интересно. Это неспроста, ведь A/B тесты не единожды оправдали себя как инструмент повышения конверсий. Однако есть здесь одно «но»: многие пробуют, делают как получается, сетуют на не самые полезные результаты и разубеждаются в том, что сплит-тестирование – это хорошо. Не советуем. Настоятельно не советуем это делать, иначе много потеряете. Лучше вот, прочтите несколько самых распространенных ошибок, что допускаются в процессе сплит-тестирования. Обойдите их и, как говорится, будет вам счастье.

Слишком малая продолжительность теста

Результаты будут качественными и полезными только при наличии хорошей статистической значимости. То есть сплит-тестирование должно проводиться на достаточно большой аудитории и достаточно продолжительное время. Стремитесь к показателю в 100%, но никак не к половине. Или вспоминайте анекдот про вероятность того, что по улице возле вашего дома пройдет слон. Ответ какой? 50% на 50% – либо пройдет, либо нет. Поможет вам такое подведение итогов? Пожалуй, нет.

В гонке за достоверными результатами важна непредвзятость. Конечно, вы работали над своей рекламной стратегией, подходы рождались в муках креативности, разработанный дизайн запал в душу. Это все понятно и даже закономерно, но будьте готовы к переменам. Возможно, тестирование покажет, что нужны доработки и переделки. И вам полезно было бы на них решиться, если тесты были проведены качественно.

Последняя оговорка исключительна важна: вы можете проводить тестирование месяцами, проанализировать итоги, изменить рекламную компанию, но конверсия не изменится. Если так, то (возвращаемся к началу) статистическая значимость не достигла приемлемой отметки в 95%: аудитория тестирования была мала, время тестирования было недостаточным. Как следствие – недостоверные результаты. И хорошо, если такие не сказались на кампании негативно, а ведь могут и вниз потянуть ваши конверсии. Поэтому…

…либо подходите к A/B тестированию серьезно, либо не подходите вообще.

Что же касается выборки. Достаточно – это как минимум 100 собранных конверсий, а в случае, если трафик велик – даже 250. Переходить к анализу полученных данных, когда отметки не достигли данных показателей, можно в одном случае: если разница между версиями А и Б сразу была существенной и рост её был стремительным. Рассмотрим и вариант, когда нужные отметки конверсий достигнуты, а показатель статистической значимости не дотягивает до 95%. В этом случае вывод незамысловат: тестируемые версии эквиваленты, они не имеют существенных отличий.

Не завершен цикл тестирования

А минимальным циклом считается неделя. И пусть, тестирование, запущенное в понедельник, в течение пары дней собрало нужные конверсии и достигло статистической значимости в 98%, тестирование нельзя прекращать. И объяснение этому предельно простое: показатель конверсии не статичен в разные дни недели. Это вам и Google Analytics подтвердит:

Вот вам и статистика: количество субботних и воскресных конверсий кратно меньше тех, что зафиксированы, к примеру, в четверг.

Какой вывод из этого можно сделать? Минимальная продолжительность A/B тестирования – 7 дней. Если за это время не справились, продлеваем процесс на неделю. И так до тех пор, пока не будете уверены в достоверности результатов. В качестве исключения (если вы абсолютно уверены в том, что конверсии стабильны каждый день) можно, конечно, не ориентироваться на 7-дневный цикл. Но это риск – имейте в виду. А учитывать стоит еще праздничные дни, сезонность и другие внешние факторы. Если ваше предложение на пике актуальности, то повторите тестирование, когда спрос нормализуется. Только так вы сможете добиться подлинных результатов.

Нет конверсий и трафика

Если вы реализуете масштабные и дорогостоящие товары (услуги) и нормальным показателем считается пара продаж в месяц, то A/B тестирование попросту бесполезно. Ну допустим, что сплит-тестирование мы таки провели. Версия А обошла версию Б на 15%. И какой из этого толк, если по сути ничего не изменилось? Имеет смысл проверить альтернативную версию в деле: запустите и оцените результаты.

Тесты на «авось»

От случайных тестирований толку ждать бессмысленно. Тестирование требует времени, в расход идет трафик, а вам просто пришло в голову поменять что-либо ради интереса? Цвет, к примеру, вместо действительно важных элементов. Никаких запретов, но будьте готовы проиграть. В противном же случае, выделяйте характерные явления, предполагайте какие факторы негативно влияют на вашу рекламную кампанию и выдвигайте предварительные положения – гипотезы. Придумали несколько решений, призванных решить проблемы и повысить эффективность? Вот их-то и нужно протестировать. Иначе какой смысл?

Тест не удался? А может, была выбрана неграмотная гипотеза? Нельзя сдаваться после первого тестирования, оно, как и первый блин, не всегда выходит. Это, кстати, еще одна ошибка: бросать попытки после первого неудачного раза.

Усредненные показатели

Только детали дают реальную картинку, за средними показателями остается лишь общее видение. Поэтому тестовым данным нужна сегментация. Google Analytics, к примеру, сможет определить для вас приоритетную информацию. В качестве альтернативы (с более скромной функциональностью) можно применять Optimizely. Удобным инструментом для автоматической выгрузки данных каждого из тестов в Google Analytics станет Visual Website Optimizer.

Игнорирование ошибок 1-го рода

Важность статистической значимости мы уже оценили. Теперь рассмотрим ошибки 1-го рода. Нетерпеливые тестеры быстро теряют интерес к А/В тестированию. Им все больше версий для тестирования подавай, чтоб двумя дело не ограничивалось. Google ведь тестировал 41 оттенок синего цвета. Тестировал. И был в курсе, что даже 100%-ая статистическая значимость риск ошибки первого рода составляет более 90%. Но не даром говорят, что чем тише едешь, тем дальше будешь: сплит-тестирование сопоставить всего 2 версии, зато результат будет однозначный, достоверный и сравнительно быстрый. А значит, можно смело улучшать гипотезы.

Одновременное тестирование разных элементов при наложении трафика

Бережно относиться ко времени – ценное умение. А вот обыкновенное желание это время сэкономить может вылезти боком. Если вы, к примеру, хотите одновременно провести тесты на разных страницах ecommerce сайта. Товары, услуги, корзина – тут есть, где разойтись! Но имейте в виду, что наложение трафика исказит результаты. И если на то пошло, прибегнуть стоит к использованию специальных многостраничных элементов. Это поможет избежать чередования новых и старых страниц и вы сможете выявить, какие именно изменения положительно сказались на конверсии.

Пренебрежение невысокими показателями

Ошибка, особенно распространенная среди компаний с качественными веб-ресурсами. Представим, что сплит-тестирование резюмировало: версия А эффективнее версии Б на 5%. Каковы ваши действия? Опустите руки, решив, что такое незначительное достижение погоды не изменит?

Тогда мы вынуждены вас расстроить еще больше: фантастических показателей вы никогда не добьетесь.

Ведь только плохие сайты могут «подниматься», качественные же ресурсы постоянно и методично совершенствуются.

Так что 50% результативности для одних, принесут меньшую выгоду, чем от 1% до 8% для других. Тем более, если смотреть на долгосрочную перспективу: и если не останавливаться на тестах, то ежемесячные увеличения конверсий на несколько процентов выльются в завидную цифру, к примеру, за год.

Тесты проводятся от раза к разу

Непостоянство в принципе не самая положительная черта. А уж в тестировании – тем более. Как можно не использовать доступный инструмент, который преподносит мнение ваших пользователей на блюдечке с голубой, как говорится, каемочкой? Ведь более ценной информации для развития маркетинга невозможно представить!

Но не забывайте о пунктах, приведенных выше: тестировать постоянно? – да! Тестировать все подряд? – нет! Не забывайте, что пришедшие в голову идеи можно просто взвешивать, а тщательно исследоваться должны гипотезы. Перед любым тестированием должна стоять конкретная бизнес-задача, потому что перемены ради перемен не имеют смысла. И в заключение: результаты тестирования – это ценные рекомендации. Не забывайте их использовать. Иначе, опять-таки, какой был смысл в тестировании?