Skip to main content
Профессиональные статьи

Нужно ли проводить A/A-тесты?

Автор
Gilyana Akuginova
Поделиться
Если Вы уже проводите A/B-тесты, то есть вероятность, что Вы уже слышали о так называемом A/A-тесте. И, возможно, даже задавались вопросом: что же это такое? Ну вот и отлично! Мы подготовили Вам краткий, но содержательный ответ.

Что такое A/A-тесты?

На самом деле, пользы от него нет особой, кроме той, что позволяет Вам убедиться, что Ваше решение для A/B-тестирования правильно установлено и исправно работает, а также что полученные результаты точны. Если все в порядке, то Вы должны будете виртуально получить ту же самую конверсию в итоге (так как обе вариации идентичны). А если они не совпадают, то это означает, что есть некоторые проблемы.

Как это возможно, что Ваши результаты не совсем точны?

Обычно результаты практически идентичны. Но как же так может получиться, что у Вас есть выигрышная вариация в Вашем A/A-тесте, хотя Вы уверены, что это невозможно?

Что может служить причиной такого расхождения?

  1. Проблема Вашего решения для A/B-тестирования (это может быть неправильная установка, неверная регистрация данных и т.д.)
  2. Так называемый «false positive», который может случиться с вероятностью 5% при статистической значимости в 95%.
  3. Вы завершили тест слишком рано и получили ложный результат

Совет: A/A/B-тест

A/B-тестирование занимает некоторое время, если делать его должным образом, поэтому если у Вас достаточно трафика, то целесообразнее вместо того, чтобы тратить время на А/А-тест, сделать А/A/B-тест. Вы устанавливаете добавочную вариацию, идентичную первоисточнику и таким образом проверяете достоверность Ваших результатов одновременно с настоящим экспериментом.
В заключение: хотелось бы добавить, что Вам лучше проводить А/A-тест, только если Вы получаете "странные" результаты и хотите убедиться, что все настроено должным образом.

PS: Если Вы хотите оставаться всегда в курсе последних новостей Kameleoon и тенденций в области оптимизации пользовательского опыта, то подпишитесь на нашу рассылку, и тогда мы будем присылать Вам раз в неделю наши новые статьи (и никакого спама, обещаю). 

A/A-тесты
Gilyana Akuginova