Нода является точкой начала теста и позволяет задать параметры тестирования, количество и размеры тестовых групп.
С помощью A/B-тестирования можно проверить, как изменения в работе с конечными пользователями влияют на выполнение ими желаемых действий.
Более подробная информация про A/B тестирование можно узнать в статье
CDJ. Маркетинговые кампании. Алгоритм работы A/B-тестовСуть метода: аудитория делится на несколько групп — контрольную и тестовые. Контрольная группа видит исходную версию (A), а тестовая — изменённую (Б). По результатам измеряется, какая версия показала лучшие результаты, и на основе данных принимается решение.
Например, можно взаимодействовать с одной группой пользователей одним способом, а с другой — иным, а затем сравнить, в каком случае пользователи чаще совершали целевые действия.
Допустим, у компании есть шаблон письма для уведомления о новой распродаже. Маркетологи знают, что при рассылке писем с этим шаблоном около 2% получателей переходят по ссылке в каталог товаров. Предполагается (гипотеза), что изменение цвета ссылки в письме с синего на зелёный сделает её более привлекательной, и большее число получателей будет по ней переходить. Для проверки этой гипотезы проводится A/B-тест. Во время очередной рассылки случайным образом выбирается группа получателей, которым отправляется письмо с новым шаблоном — с зелёной ссылкой. Это тестовая группа. Остальным получателям отправляется письмо с синей ссылкой — это контрольная группа. Далее регистрируются переходы по ссылке в каталог — это целевое действие. Подсчитывается количество целевых действий в тестовой и контрольной группах, а затем вычисляются доли переходов: число переходов делится на общее количество писем в каждой группе. Доля переходов является целевым показателем.
- Имя: Укажите любое название ноды (обязательный параметр).
- Название теста: Укажите имя теста.
- Стратегия завершения:
Это правило, которое определяет, что произойдёт после завершения теста.
- Использовать контрольную группу - Если тест не показал значимых улучшений, после завершения будет использоваться ветка контрольной группы.
- Использовать победителя - Если тестовая версия оказалась лучше, после завершения будет использоваться ветка победителя.
Минимальная разница в показателе тестовой группы в процентных пунктах (абсолютная), чтобы тест считался успешным.
Это минимальный прирост в показателе тестовой группы (в процентах), чтобы тест считался успешным. Например, если вы тестируете конверсию, минимальная разница может быть 5%. Это значит, что тестовая группа должна показать результат на 5% лучше контрольной, чтобы изменения признали значимыми.
Это статистический показатель (в процентах), который указывает, насколько вы уверены в результатах теста. Обычно используют 95% или 99%. Это значит, что с вероятностью 95% (или 99%) результаты теста не случайны.
- Продолжительность: Укажите, сколько времени будет длиться тест (от 1 часа до 3 месяцев). Продолжительность зависит от объёма и цели теста.
- Максимальное число участников:
Это общее количество пользователей, участвующих в тесте. Чем больше участников, тем точнее результаты, но слишком большое число может замедлить тест.
- Длительность сбора результатов: Укажите время, в течение которого система собирает данные после завершения теста, чтобы учесть отложенные действия пользователей.
- Группа:
- Название: Укажите название группы.
- Размер группы в виде числа участников: Указывает, сколько пользователей попадут в группу. Размер в абсолютных числах (например, 5000 человек). Размеры групп должны быть выражены в одних и тех же единицах. Если поле заблокировано, значит в других тестовых группах размер указан в других единицах.
- Размер группы в виде процента от общего числа участников: Указывает, сколько пользователей попадут в группу. Размер в процентах (например, 50% от всех участников). Размеры групп должны быть выражены в одних и тех же единицах. Если поле заблокировано, значит в других тестовых группах размер указан в других единицах.
- Контрольная группа: Группа, которая будет использоваться, как контрольная. Она не может быть выбрана или изменена пользователем.