Skip to main content
mvt-kak-rabotaet-2
Профессиональные статьи

Мультивариантное тестирование (MVT): как это работает? (Часть 2)

Автор
Gilyana Akuginova
Поделиться
Продолжаем разговор, начатый в прошлой статье. Сегодня мы вкратце расскажем Вам о применении мультивариантного тестирования на практике на примере работы с Kameleoon. Чтобы оставаться в курсе всех новостей, следить за публикациями в блоге, подписывайтесь на нашу рассылку Conversion Matters. мультивариантное тестирование cta

В каких ситуациях можно MVT может быть актуально?

Когда у Вас нет точного понимания, какие гипотезы все же лучше изначально протестировать

Первая стадия формирования A/B-теста – это представить различные изменения, которые Вы хотели бы протестировать. В некоторых ситуациях довольно сложно составить изначально мнение о том или ином элементе, который мог бы что-то действительно изменить. Ваши CTA работают менее эффективно, чем Вы того ожидали…. Но в чем проблема? В формулировке, цвете или форме? Не так-то и просто определиться с заведомо сильной гипотезой в самом начале. В данном случае MVT будут кстати. Вы сможете протестировать несколько элементов одновременно, а Kameleoon создаст все возможные комбинации для Вас. Так Вы не упустите ни одно возможное сочетание и сэкономите значительное количество времени благодаря такой автоматизации.

Когда Вы работаете с точки зрения аналитики

Как мы и сказали, мультивариантное тестирование может усовершенствовать анализ результатов, изолируя различные компоненты тестируемых изменений. Если Вы работаете с перспективой на аналитику, в которой обработка и понимание Вашего A/B-теста является ключевым понятием, то мультивариантное тестирование – хороший союзник.

Вопрос минимального трафика

Вопрос трафика на тестируемой странице очень важен, и задуматься об этом стоит с самого начала, то есть до того, как Вы начнете какой-либо MVT. Действительно, чем больше количество комбинаций, тем больше трафика Вам нужно. То есть в общем и целом, считается, что мы достигаем необходимого значения коэффициента надежности в A/B-тесте: - от 1000 посещений/вариация, если тестируемая страница имеет высокую вероятность конверсии (вовлеченность на лендинге или CTR кнопки CTA) или там, где ожидается высокий прирост (например, +10% или 20%). - от 7500 посещений/вариация, если показатель конверсии низкий, например, для заполнения форм (обычно меньше 5%). То есть попробуйте представить ситуацию в самом конце конверсионной воронки, где конверсия низкая, и трафик также низкий. Там достичь 7500 посещений/вариация становится крайне сложно. И чем выше число вариаций, тем больше нам нужно трафика. Поэтому рекомендовано выбрать относительно небольшое количество комбинаций для теста. Нет смысла использовать несколько вариаций, если результаты будут бессмысленными, так как не подтверждены достаточной выборкой посетителей.

Как работает мультивариантное тестирование?

Работая с Kameleoon, Вы получите доступ в бэк-офис или графический редактор. мультивариантное тестирование Все пользователи, имеющие доступ к модулю A/B-тестирования, получают автоматически доступ к инструменту MVT.

1. Создавайте Ваши вариации в графическом редакторе

Как и с классическим A/B-тестом, первая стадия – это создание вариаций, которые Вы хотели бы протестировать в графическом редакторе Kameleoon. Давайте вернемся к нашему примеру, когда мы хотели поменять одновременно и цвет, и формулировку CTA. Это очень просто. В меню Вы создаете секции Вашего теста, в данном случае речь идет о цвете и формулировке. Затем для каждой секции Вы создаете вариации, которые Вас интересуют. Например, в секции «Цвет» Вы создаете желтую, синюю, красную вариации. В секции «Формулировка» есть 2 возможности: «Начать» и «Купить». мультивариантное тестированиемультивариантное тестирование Kameleoon автоматически генерирует все возможные комбинации из сочетаний разных секций. Итак, в данном случае мы получаем:
  • «Начать» в синем цвете
  • «Начать» в желтом
  • «Начать» в красном
  • «Купить» в синем
  • «Купить» в желтом
  • «Купить» в красном

2. Распределить трафик

Сейчас Вы должны будете решить, как Вы желаете распределить трафик на Вашем сайте по разным комбинациям на время теста. Одна из сильных сторон MVT Kameleoon – это то, что мы предлагаем 2 подхода к распределению трафика: по секциям или по комбинациям. По секциям
Секция: секция группирует несколько вариаций одного элемента
В нашем примере есть 2 секции, «цвет» и «формулировка». Вариации цвета: желтый, синий и красный Вариации формулировок: «купить» и «начать» По умолчанию трафик будет распределен поровну между всеми вариациями. Распределение по секциям – это самое простое, так как секций меньше, чем комбинаций. Таким образом, Вы должны будете распределить 100% Вашего трафика между Ж/С/К и 100% трафика между «Купить» и «Начать». Затем Kameleoon автоматически генерирует распределение к каждой комбинации. По комбинациям
Комбинация: это несколько вариаций разных секций, которые мы совмещаем и отображаем одновременно.
В нашем примере возможные 6 комбинаций:
  • «Начать» в синем цвете
  • «Начать» в желтом
  • «Начать» в красном
  • «Купить» в синем
  • «Купить» в желтом
  • «Купить» в красном
Вы можете определить вручную, как распределить твой трафик по каждой комбинации, или здесь тоже - решить распределить трафик поровну. Такой подход к распределению трафика может стать сложным в управлении, если у Вас много разных вариаций, так как число комбинаций растет соответственно. Тем не менее, это полезно в некоторых особенных ситуациях, например, когда Вы желаете исключить некоторые комбинации из Вашего теста. Вот к примеру: Вы меняете цвет и текст Вашей кнопки CTA. Вы не хотите, чтобы Ваши посетители видели комбинацию черный фон/черный текст (потому что, очевидно, они ничего не увидят). Таким образом распределение трафика по комбинациям позволит Вам вручную установить трафик, равный нулю, для этой комбинации.

3. Определить KPI для отслеживания

Как только Вы определились с распределением трафика, Вы можете настроить цели для отслеживания во время теста. Здесь аналогично: подход такой же, как и в случае с классическим тестом. Вы определяете KPI для мониторинга. Вы найдете всю доступную информацию о настройке инструмента формирования отчетности и Ваших целей в нашей статье на тему.

4. Симулировать тест и затем запустить его

Вы можете просмотреть все комбинации, которые тестируете, в режиме симуляции, доступном на этом этапе Вашего проекта. Это позволяет Вам убедиться в своем выборе до того, как запустить тест онлайн. Режим симуляции, который выделяет платформу Kameleoon среди прочих, используется таким же образом, как и для классического A/B-теста. мультивариантное тестирование  

5. Отслеживать результаты

На странице результатов каждая комбинация считается вариацией (в духе классического A/B-теста). Вы можете анализировать детально уровень влияния каждого элемента на Ваши KPI и убеждаться, что Вы на правильном пути. https://www.youtube.com/watch?v=bvp5MnBz6zM

Заключение:

Если у Вас достаточный трафик, то MVT может оказаться крайне полезным. Но будьте внимательны: нужно относительно продолжительное время для получения надежных результатов. Использование MVT не должно быть систематическим, однако в некоторых ситуациях такая мера оправдана. А если необходимость таких тестов растет, то Вам понадобится солидное решение. В таком случае мы, Kameleoon, к Вашим услугам.
Gilyana Akuginova