Как статистическая достоверность влияет на ваши конверсии?

Результаты сплит-тестов поражают: поменял цвет кнопки – и количество лидов увеличилось на 65%, перенес лид-форму в другое место и показатель возрос еще на 20%! Как тут не впечатлиться. Однако качественные кейсы этой информацией не ограничиваются: в них всегда присутствуют пометки – «при статистической достоверности N». Как раз о ней мы сегодня и поговорим.

Те, кто еще не в курсе, откроют для себя много нового. Ну а любители статистической точности, то есть маркетологи, наверняка уточнят пару важных нюансов.

Элементы случайности

Представьте, что сплит-тест, приведенный в пример выше, имел статистическую достоверность 98%. Вызывает доверие, верно? Ведь 2% случайности проблемой вряд ли станут. А теперь представьте, что эти показатели меняются местами: какие вообще результаты будут значимы, если они с 98%-й вероятностью случайны. Это значит, в другое время выборка осуществилась бы абсолютно иначе. Ну и прочие переменные и внешние факторы могли бы исказить результаты донельзя.

• Довольный интернет-пользователь – к продажам

Точные тесты – не миф ли?

Маркетологи (внушительная их часть) задаются вопросом: так ли важна статистическая точность, допустим, при тестировании одностраничников? Вопрос задают, но в большинстве своем пребывают в уверенности, что показатели воронки продаж не улучшатся, а прибыль не увеличится, даже если статистическая точность будет на высоте.

Другие же считают, что точность позволяет фиксировать эффект оптимизации в конкретном сегменте. Но так или иначе, абсолютной уверенности в том, что при заданных изменениях конверсии действительно вырастут на 85% (как в нашем примере), быть не может. И как раз поэтому нельзя пускать тестирование на самотек: оно требует грамотного управления на каждом из этапов.

Если вы собрались пренебречь данными, то какой был смысл их фиксировать? Верно, никакого. Поэтому держите руку на пульсе и анализируйте происходящее в актуальном контексте.

Желаете измерить коэффициент конверсии? Значит, соратники по маркетингу скорее всего уже посоветовали вам собрать достаточно трафика. Побуждения у них были наверняка самые лучшие, жаль только что хорошего трафика не всегда хватает для изменений, связанных со статистической точностью. И вот вам пример Marketizator:

 Оба варианта лендинга при 100 000 посетителей собрали 250 000 просмотров. Однако показатели конверсии не дотянули и до процента: 0,13% и 0,12% соответственно.

Но может сложиться и обратная ситуация: когда статистически значимого результата удается добиться гораздо меньшим количеством просмотров и посетителей.

• Что важно вашему посетителю?

Учитывайте все данные

Наверное, не один маркетолог мечтал о том, что совсем уже скоро создадут A/B-калькулятор: вводишь актуальные данные, а он выдает статистически точные ответы. Но пока одни мечтают, другие экспериментируют. Так, приведенный пример, созданный посредством диаграмм в Excel и Google Docs, показывает плотность вероятности по вертикали и процент конверсии –по горизонтали.

Давайте возьмем самый заурядный пример. Предположим, мы решили протестировать СТА-кнопку. У нас есть два альтернативных цветовых решения – зеленый и желтый.

Тестируем и получаем следующие результаты: при 132 просмотрах зеленый цвет собрал 12 кликов, а желтый – 14 кликов при 125 просмотрах. Желтая кнопка, пусть и с небольшим отрывом, все-таки опережает зеленую. Но не случайность ли это? «Калькулятор» отвечает:

Желтая кнопка обещает победить с вероятностью в 73%.

Само собой, пример приведен легкий, и результат ваших тестирований отнюдь не всегда будет очевидным. Но как раз в таких случаях калькулятор и будет незаменим.

• Как вызвать доверие, чтоб увеличить средний чек?

Польза А/А-тестов

У таких тестов меньше популярности, но их любят эксперты по оптимизации конверсии. И, разумеется, не просто так: А/А-тесты, по сути, это возможность проверить условия проведения А/В-тестов.

В чем суть: показываете два идентичных варианта двум группам пользователей – и убеждаетесь в корректности подбора контрольных групп. Подготовленный тест можно будет считать грамотным, если в разных контрольных группах показатели конверсий не превысят статистическую погрешность.

А/А-тесты хороши тем, что позволяют выявить критические ошибки, способные серьезно исказить результаты А/В-тестирования.

• Тесты шиворот-навыворот

Чтобы точно

Мы пришли к тому, что как бы вы ни стремились к определению статистической точности, искажения могут иметь место. Как обезопасить себя, не прибегая к сложным уравнениям? Воспользоваться сервисом evanmiller.org. Этот простой калькулятор рассчитает оптимальное количество посетителей для достижения статистической точности.

• Как установить рекорд по оптимизации конверсии лендинга?

***

Полюбите аналитику, готовьте цифровые выкладки, стремитесь к статистической точности, и просто смиритесь с тем, что оптимизация конверсии не поддается точному прогнозированию. Ведь вы работаете с людьми, а их поведение никак не может быть на 100% предсказуемым.

Успехов вам и завидных конверсий!