Для проверки гипотез влияния изменений стратегии коммуникации на целевые показатели мы добавили в систему функционал А/Б-тестирования (включая мультивариантное тестирование).
Механики А/Б-тестирования добавлены в:
- Массовые рассылки - для таких рассылок можно протестировать несколько вариантов шаблонов писем,
- Триггерные сценарии - можно протестировать несколько вариантов пути прохождения сценария, в каждом варианте могут содержаться произвольные действия или их отсутствие.
В рамках А/Б-тестирования массовых рассылок может быть создано от одной до четырёх тестовых групп, размеры которых могут быть выражены как в процентном, так и в количественном виде. Для каждого теста задаётся шаблон коммуникации и целевое действие, которое может быть выражено в виде прочтения сообщения, перехода по выбранной целевой ссылке либо срабатывания произвольного RT-сегмента. Модуль автоматически оценит проведённый тест, использовав введённые значения ожидаемого прироста метрики и уровня доверия.
Для триггерных сценариев не требуется указывать шаблон сообщения, так как система не ограничивает ваши возможности в настройке взаимодействий с клиентом после входа в А/Б-тест. Вы можете выполнять любые взаимодействия с клиентом, строя сценарий таким образом, чтобы в узел обработки результатов теста приходили только клиенты, которые успешно выполнили целевое действие.
Триггерный сценарий может обслуживать клиентов в течение длительного времени, а А/Б-тест всегда ограничен по времени.
Мы предоставляем опциональную возможность оптимизировать путь клиентов после проведения теста и подсчёта результатов. В случае активации такой опции все клиенты по завершению теста будут маршрутизированы в ветвь сценария с наилучшим результатом, признанным успешным с учётом статистических параметров тестирования. Если победитель не будет определён, то будет выполняться маршрутизация по ветви контрольной группы.