4 досадных промаха в A/B-тесте

A/B-тесты – предмет поклонения современных маркетологов. Как без них жили раньше, сложно себе и представить. О том, что такое сплит-тестирование и с чем его едят, мы уже рассказывали на примере исследования писем:

• Пишем эффективные письма. Часть 1.
• Пишем эффективные письма. Часть 2.

Но чтобы результаты тестирования были достоверными и действительно полезными, стоит знать о подводных камнях. О четырех самых распространенных ошибках мы и поговорим сегодня.

Итак, сплит-тестирование не будет иметь смысла, если:

1. Игнорировать мультивариативные и А/А-тесты.
2. Тестировать все подряд.
3. Запускать тестирование ради задачи, которая не будет решена таким образом.
4. Провести недостаточное количество тестов.

A/A-тесты

У вас есть страница. Есть гипотеза, что при определенных условиях она сработает лучше. Вы создаёте альтернативную версию и запускаете A/B-тест. Казалось бы, все логично. Но тестирование имеет смысл только в случае, если на обе версии страницы пришло соразмерное количество посетителей равного качества. Определить, будет ли выполнено это условие, как раз и призван А/А-тест.

Как это делается?

Копируете имеющуюся страницу, делите аудиторию на равные части и показываете каждой из половин свой дубликат. Тест пройден успешно в том случае, если показатели конверсии равны или разница между ними варьируется в пределах статистической погрешности. В противном случае проведение A/B-тестирования будет бессмысленным.

Дело в том, что качество аудитории и страницы оказывают прямое воздействие на конверсию. В нашем случае, когда страницы идентичны, заключение может быть одно: страницы собрали неравномерную аудиторию. А из такой ситуации есть 2 выхода:

1. Продлить тестирование, собрать больше информации и дождаться, когда показатели сравняются. Если это произойдет, вы сможете приступить к A/B-тестированию. Причем запускать его нужно будет на аналогичный промежуток времени.
2. Изменить аудиторию. В этом вам сможет помочь, к примеру, запуск рекламной кампании.

Мультивариативные тесты

Предположим, у вас появилась новая целевая страница. Вы провели А/А- и А/В-тестирования. Выяснили, что конверсионный показатель одной из версий страниц превышает другой на 20%. Цель достигнута и пора открывать шампанское, но погодите… это лишь цветочки, а вот ягодки еще впереди.

Зачем довольствоваться меньшим, когда можно получить большее? Ведь протестировать можно заголовок, изображения, размещение блоков, оформление СТА-кнопок. Вот и сделайте несколько разных комбинаций лендинга. В – оригинал, В1 – версия с новой фотографией, В2 – версия с другой новой фотографией, В3 – версия с новым текстом на ста-кнопке и т.д. Дело за малым – распределить трафик поровну и выждать несколько дней. Кстати, несколько дней – условность: опытные в этом деле пользователи знают, сколько времени будет достаточно для тестирования. Но чтобы объяснить это новичкам, пожалуй, стоит написать отдельную статью.

Мультивариативные тесты – хорошая возможность определить эффективные версии способом от обратного. Проще говоря, разница между конверсиями разных вариантов уже очевидна? Как бы тяжело это ни было, проигнорируйте высокие конверсии – но дисквалифицируйте из соревнований самый слабый вариант. Тестируйте дальше и снова удалите слабейшего.

Если время идет, а разница между тестируемыми версиями не становится существенной – приостанавливайте: для вашей аудитории не имеет значения, какую из предложенных картинок будет демонстрировать ваш лендинг, их эффект равнозначен. Поэтому выбирайте ту, что больше нравится лично вам и заканчивайте с испытаниями, либо переходите к исследованию других элементов.

Ну а если раз за разом вы определяли слабые звенья и исключали их из тестирования, и теперь у вас есть победитель. Напутствуйте его и запускайте в тестирование с оригиналом. Каков результат?

Может, конечно, случиться по-разному. К примеру, Алексею Куличевскому, исполнительному директору компании «Oh My Stats!», приходилось обжигаться: на протяжении двух недель специалист сравнивал эффективность 128 версий лендинга. Но стоило ему сравнить оригинал с победителем многочисленных тестирований, как стало очевидно, что две недели отправились коту под хвост – оригинал показал лучший показатель конверсии. Так случается, когда предыдущие колебания конверсий были обоснованы не дизайном, а случайными внешними факторами, которые не были учтены.

Тестирование всех элементов

Может, вы помните ту феноменальную историю, когда Google решил протестировать 40 оттенков синего цвета для ссылки. Продакт-менеджер Мариса Майер (сегодня – генеральный директор Yahoo) смогла найти вариант, увеличивший конверсию на десятые доли процента. Смешная цифра, но в масштабах Google – принесшая прибыль в десятки миллионов долларов.

Учитывайте это «но», ведь для маленьких компаний такие изменения вероятнее всего покажутся несущественными. А значит, бросаться в крайности и тестировать все подряд просто не имеет смысла: вы потратите ресурсы, не получив выгоды. Так что доводы «Мне пришло в голову» и «авось сработает» – отнюдь не мотивация приступать к тестированию. Вам нужны только обоснованные гипотезы.

Каждому тесту – своя задача. И наоборот

Каждый тест призван повысить эффективность одного единственного шага. Мы с вами научились это понимать. Многие даже успешно об этом не забывают, заигрываясь тестированием. Но что, если вы преследуете не простую цель продать как можно больше, а глобальную – увеличить лояльность покупателей и сделать её долгосрочной, а покупателей – постоянными? Сплит-тестирование не расскажет вам, благодаря чему это произошло (если вам это вообще удалось). И даже больше: тестирование может ввести в заблуждение.

Для большей показательности – хороший пример. Delivery Club – единая система заказов еды и продуктов – тестировал два баннера. Первый из них демонстрировал бургер с надписью «Голоден?». Второй – привлекательную девушку с тем же вопросом. Без результатов тестирования понятно, какой из вариантов стал победителем, верно? На девушку «клюнули» лучше. Но конверсия кликов и конверсия покупок – разные вещи: многие из тех, что кликнули на обнаженную девушку, хотят есть и готовы заказать продукты?

На правах заключения

Чтобы не попасть впросак еще до того, как приступить к тестированию, проверяйте аудиторию A/A-тестами. Завершили A/В-тестирование? Приступайте к мультивариативному. Чтоб не остаться у разбитого корыта, вернитесь к оригиналу и сравните его с безусловной версией-лидером.

Тестируйте только в том случае, если изменения обещают быть значительными, и не все подряд. Иначе рискуете прийти к параличу тестирования.

• Про паралич выбора читайте здесь – Большой выбор – это плохо?!

И не забывайте формулировать первостепенную задачу, потому что A/В-тесты справляются лишь с «короткими дистанциями», а для достижения глобальных целей есть другие, специально заточенные инструменты.