Что такое А/В-тестирование?

Все, что Вам необходимо знать об А/B-тестировании, находится здесь.

Разделы

Введение
A/B-тестирование: секретное оружие лучших маркетологов
Что такое A/B-тестирование?
В чем заключается преимущество А/В тестирования?
Как работает А/В-тестирование?
Уровень конверсии на сайте ключ к вашему успеху в a/b тестировании
Как проводить А/В-тестирование: методология и процесс
Что тестировать? дюжина идей
А/В тест: хорошие (и плохие) практики
Книги, которые позволят идти дальше
А/В тестирование Отчет и результаты
Понимание статистики для A/B тестирования
A/B ТЕСТИРОВАНИЕ: ЗНАНИЯ, УМЕНИЯ И НАВЫКИ УПРАВЛЕНИЯ
Дополнительные инструменты,чтобы максимально повысить шансы на успех ваших А/В тестов
Какие блоги по А/В-тестированию Вам следует почитать?
Эксперты A/B-тестирования
Вы хотите обратиться в агентство, чтобы провести А/В тестирование?

Введение

Прошло то время, когда мы тратили весь маркетинговый бюджет на все подряд. Сегодня маркетинговые команды могут принимать обоснованные решения, а также пользуются научным подходом для оптимизации посетительского опыта. Они опираются в своих решениях на надежные данные, а не на субъективной интуиции, благодаря в частности A/B-тестированию.

Пришло время внедрить культуру и тягу к экспериментам и проверить на практике все Ваши идеи!

Выстраивая свою стратегию, основываясь на данных, Вы не только станете более гибкими, но и узнаете: что же все-таки работает, а что нет. Вы будете инвестировать Ваше время и деньги в то, что действительно нравится посетителям, и таким образом сможете принимать наилучшие решения для своего бизнеса.

A/B-тестирование: секретное оружие лучших маркетологов

75% сайтов с ежемесячным трафиком более 1 млн посетителей проводят А/В-тестирование. Возможно и Вам стоит отбросить сомнения при принятии маркетинговых решений.

Однако верным является то, что A/B-тестирование требует внедрения строгого процесса, а также периода для его освоения. Вам нужно будет определить зоны оптимизации Вашего сайта, расставить приоритеты в плане действий, а также освоить (немного) статистику , чтобы не допустить ошибок.

Но не пугайтесь: мы объединили все самые лучшие источники от экспертов в этой области, которые могут Вам понадобиться для того, чтобы освоить эту тему.

сайтов с более чем одним миллионом посетителей
выполняют A / B-тестирование

Что такое A/B-тестирование?

Определение: А/B-тестирование - это опыт, который проводится на интернет-сайте, мобильном приложении с целью подтвердить гипотезы по оптимизации потенциальных улучшений в сравнении с исходной версией (оригиналом). Оно позволяет Вам увидеть, что работает для Вашей аудитории, основываясь на статистическом анализе эффективности.

А/B-тестирование может также называться сплит-тестом, или Split URL testing. В классическом A/B-тесте оба варианта Ваших страниц находятся по одной ссылке. В случае Split URL testing, вариант В находится по другой URL-ссылке (Ваши посетители, соответственно, не видят разницы).


Что такое мультивариантное тестирование (MVT) ?

В некоторых случаях возможно тестировать одновременно несколько изменений на одной веб-странице: баннер, заголовок, описание или еще видео. MVT-тест позволяет вам тестировать все эти оптимизации за раз.

Ваш инструмент А/В-тестирования создаст столько вариантов, сколько имеется комбинаций, чтобы определить, какое из них имеет наибольшее влияние на Ваши показатели конверсии.

Проблема мульвариантного теста заключается в том, что он требует огромного объёма интернет трафика для того, чтобы иметь возможность протестировать все варианты и получить статистическую значимость, которая вам позволит принять обоснованное решение. Если вы желаете узнать больше о том, в чем заключается разница между мультивариантным тестом и А/В тестированием, то мы вам советуем прочитать материалы по ссылке Статья из HubSpot разница между MVT (мультивариантный) и A/B Тесты.

Пример с баннером и картинкой
(4 варианта, контрольная версия без картинки)


Bandit тестирование или multi-armed bandit тестирование

Multi-armed bandit тестирование это когда ваш алгоритм автоматически и постепенно перенаправляет вашу аудиторию на выигрывающую вариацию..

Если вы хотите знать больше о multi-armed bandit testing, the лучшая статья подготовлено Alex Birkett из ConversionXL.


A/B/n тестирование

А/В/n тестирование позволяет тестировать n гипотезы вашей страницы.. Например, вы сможете протестировать шесть вариантов вашей страницы, проведя A/B/C/D/E/F тест.

В чем заключается преимущество А/В тестирования?

Зачем Вам начинать А/B-тестировать? Или еще лучше спросить себя: довольны ли Вы тем, как Вы используете трафик, заработанный потом и кровью? Оптимизировать Ваши конверсии - это дешевле, чем наработать трафик, с более высоким потенциальным показателем ROI. И с A/B-тестированием эффект будет еще более наглядным. Но A/B-тестирование позволит Вам гораздо больше:

узнать в каждом тесте более подробно о ваших посетителях : влияние различных составляющих (элементов) вашей страницы на их поведение, потребности, привычки

Исключите фактор риска и субъективность в принятии ваших решений, применяя практику теста и подтверждая все гипотезы оптимизации

Сконцентрировать ваши силы (и деньги) на том, что работает лучше для вашей аудитории благодаря тому, чему вы научились с помощью А/В тестирования

Вот несколько примеров вопросов, на которые вы сможете дать надежные ответы блягодаря А/В тестированию.

Какие элементы ваших страниц влияют на ваши продажи, конверсии или на поведение ваших посетителей

Какое оптимальное количество полей необходимо для заполнения ваших формуляров

Следует ли вам внедрить эту новую функцию

Какие заголовки являются более эффективными для посетителей?

Какие части вашего туннеля преобразования имеют низкую производительность?

Как работает А/В-тестирование?

А/B-тестирование позволяет Вам сравнить существующую версию страницы с новыми (новым) вариантами для оптимизации, которые Вы хотели бы протестировать (CTA, название, элемент ...).

Ваши посетители делятся на равные части и повергаются различным вариантам тестирования с целью определить вариант, который лучше всего подходит для поставленной вами цели (вход, клик, добавление в корзину, …), то есть чей процент конверсии является лучшим. Затем данные подвергаются анализу и сравнению для того, чтобы определить возможны или нет изменения, которые вы хотите реализовать.

Уровень конверсии на сайте ключ к вашему успеху в a/b тестировании

Что такое оптимизация показателей конверсии (или CRO, сокр. от Conversion Rate Optimization) ?

Это процесс по улучшению вашего сайта, чтобы увеличить количество действий, которые вы хотели бы, чтобы пользователи совершили на сайте.

Обычно это покупка или «конверсия» и предоставление им вашей контактной информации. Другими словами, превратите ваших посетителей в покупателей.

Аноним
Посетитель
Лид
Клиент
Прескриптор
Открытие
Внимание
Доверие
Удовольствие

Иметь большой трафик - это неоспоримый плюс, но нужно также еще заработать на нём. Именно здесь оптимизация конверсии приобретает свой смысл и свою значимость.

Как проводить А/В-тестирование: методология и процесс

Как и любой другой инструмент А/В- тестирование опирается на процесс и строгую методологию для определения идей и концентрации на наиболее обоснованных А/В-тестах.

Каждая компания развивает свой собственный процесс, но в общем он похож на следующее:

1

Измеряйте и анализируйте данные вашего сайта для определения областей оптимизации и возможностей роста.

2

Сформулируйте одну из гипотез оптимизации (отличный способ подготовить гипотезу от Craig Sullivan)

3

Расставьте приоритеты ваших идей А/В тестирования: одна из наболее часто используемых методик фрейморк приоритезации - PIEсозданная Widerfunnel.

Благодаря этой системе вы сможете классифицировать ваши идеи тестирования в соответствии с тремя критериями оценки от 1 до 10, чтобы определить с какой или каких из них следует начать.

Потенциал ./10: На сколько вы оцениваете маржу улучшений на этой (этих) странице (страницах)?

Влияние ./10: Какая величина трафика (объем, качество) на этой (этих) странице (страницах)

Простота/легкость в реализации ./10: Насколько легко реализовать тест ( 10= очень легко, 1= очень сложно)

Среднее значение трех оценок укажет вам, какой тест начать (разумеется, существуют и другие системы приоритетов, и от вас зависит выбор того, что вы предпочитаете).

4

Проведите А/В-тестирование наиболее важных гипотез

5

Анализируйте и узнавайте/ изучайте результаты ваших А/В тестов

6

Поделитесь вашими результатами внутри компании Как это объяснил Thomas Sauzedde, Генеральный директор routard.com, это один из ключевых факторов успеха ваших усилий по оптимизации! Нужно способствовать обмену мнениями и обсуждениям, которые приведут к новым идеям тестирования. Не забывайте всегда вовлекать в процесс команду IT.

7

Начать заново!

Что тестировать? дюжина идей

На вашем сайте вы можете тестировать абсолютно все с помощью А/В тестирования:

Заголовки

Баннеры

Call to actions

Изображения

Social proof

Ссылки

Text

Текст

Упоминания/ Отзывы

Корзина ...

Но время от времени нужно стимулировать творчество и находить новые источники вдохновения. Чтобы вам помочь, вот несколько идей для А/В тестирования.

Предупреждение: то, что работало у других, не обязательно будет работать у Вас ! Не пытайтесь применить все, что написано здесь, если Вы не проанализировали предварительно целесообразность использования для Вашей ситуации и то, как Вы можете это адаптировать под Ваш бизнес.

А/В тест: хорошие (и плохие) практики

В случае неправильного использования А/В тестирование может быть сложным и противоречить вашим бизнес целям

Защитите ваш успех, учась на лучших практиках и ошибках , которые не следует допускать.

Лучшие практики для успешных А/В тестов

Заметка: Наша еженедельная рассылка Conversion Matters является источником вдохновения для всех маркетологов, которые хотят запустить лучшие кампании по оптимизации пользовательского опыта подписка здесь

Книги, которые позволят идти дальше

Существует не так много книг (или электронных книг) по А/В тестированию... по крайней мере на французском языке. Вот некоторые из них, которые вам позволят узнать больше об этой теме.

А/В тестирование Отчет и результаты

А/В тестирование позволяет принять обоснованное решение и обучаться. Ваша отчетность и грамотный анализ результатов являются необхоимыми условиями, чтобы добиться окупаемости инвестиций.

Понимание статистики для A/B тестирования

А/В тестирование основывается на различных методах статистического подсчета. Вам не нужно быть ученым, чтобы добиться результатов, но некоторые понятия из математики будут, несомненно, полезны.

В А/В тестировании существкет 2 метода статистического подсчета, который отвечает на 2 потребности и различные цели. Вот как мы подходим к этой теме статистический двагитель Kameleoon’s.

Детерминированный метод

позволяет простое прочтение надежности результатов, данных с помощью индикатора процента доверия: с показателем 95% и более, у вас есть 95% вероятности принять верное решение. Тем не менее, у метода есть ограничение : «фиксированный горизонт», это значит, что до завершения тестирования на этот показатель нельзя опираться, чтобы оценить надежность результатов.

Байесовский метод

показывает вероятность результатов. Больше не нужно ждать конца теста, чтобы понять тенденцию и интерпретировать данные. Однако этот метод имеет также свои требования : правильно оценить доверительный интервал для оценок во время теста. Уверенность в вероятности того, что один из данных вариантов - выигрышный, увеличивается с каждой дополнительной конверсией.

A/B ТЕСТИРОВАНИЕ: ЗНАНИЯ, УМЕНИЯ И НАВЫКИ УПРАВЛЕНИЯ

Чтобы удача была полностью на вашей стороне, вам понадобятся определенные навыки от вас или вашей команды: например,веб-аналитика и пользовательский опыт.

Дополнительные инструменты,чтобы максимально повысить шансы на успех ваших А/В тестов

Будь то инструмент для управления проектами, расчета размера выборки или продолжительности теста, набор инструментов, чтобы вам помочь в реализации ваших процесов. Выбор достаточно большой, чтобы направить вас на путь успеха.

Какие блоги по А/В-тестированию Вам следует почитать?

"Во Франции есть ссылка на эту тему “Conversion Matters” (Предупреждение: Это наш блог!, но мы гордимся тем, что собрали самое большое сообщество маркетологов в области оптимизации работы пользователя). Если вы любите читать на английском языке, то ниже вы найдете список лучших блогов по A/B тестированию и оптимизации работы пользователя, содержимое которых вы сможете изучить, найти вдохновение, и стать настоящим профессионалом в области A/B тестирования."

Эксперты A/B-тестирования

Мир оптимизации конверсии развивается очень быстро, и отслеживать мнения професссиналов, которые определяют его будущее, может быть для вас очень полезным. Ниже вы найдете полный список аккаунтов twitter, а также экспертов, которые нас вдохновляют.

Список Twitter:

https://twitter.com/kameleoonrocks/lists/cro-experts/members

Вы хотите обратиться в агентство, чтобы провести А/В тестирование?

Если у вас нет внутренних ресурсов, обратиться в агентство - это хороший способ для запуска стратегии А/В тестирования. Мы работаем только с лучшими, вы можете доверять списку, который приведен ниже.

Заметка: Команды Kameleoon могут также вас сопровождать в процессе внедрения и исполнения вашей стратегии оптимизации. Можно узнать больше по следующей ссылке Наши стратегии по оптимизации

А Вы готовы создавать уникальный пользовательский опыт ?