A/B тестирование

А/В тестирование - инструмент маркетинговых исследований, получивший широкую популярность в области разработки продуктов. 

Давайте в качестве рассмотрим тестовую цель разработки веб-страниц с использованием маркетинговой стратегии, чтобы получить максимальную онлайн-аудиторию и место для маркетинговой рекламы. (т. е. группы слов, используемые в текстовом продвижении).

A/B-тестирование используется для проверки «сходства текстового/рекламного сообщения» контрольной группой и тестовой аудиторией для двух окончательных вариантов рекламного контента.

На этапе разработки копирайтер/маркетолог может представить два окончательных дизайна, которые можно творчески оформить на целевой странице веб-сайта, шаблоне электронной почты, рекламном объявлении на веб-странице или рекламном объявлении, всплывающем сообщении на экране конечного пользователя. 

Набор надежных измеримых данных по ключевым показателям эффективности (KPI) - это «Рентабельность инвестиций» (ROI), «Показатель кликабельности» (CTR), «Средний доход за сеанс» (ARPS), «Доход от посетителя» (RPV) находятся в области А/B-тестирования с целью выбора лучшего дизайна для онлайн-продвижения и оценки восприятия аудиторией.

ROI: рентабельность инвестиций определяется как «отношение прибыли, полученной от инвестиций, к общей стоимости инвестиций».

CTR: рейтинг кликов определяется как соотношение «выбранного количества пользователей, нажимающих на гиперссылку, к общему количеству пользователей, перешедших на веб-страницу, электронную почту или рекламное объявление».

ARPS: средний доход за сеанс определяется как «средняя сумма заработка за веб-сеанс или заработок, зарегистрированный за посещения веб-сайта», и рассчитывается путем «разделения общего дохода за веб-сеанс на общее количество посещений веб-сайта».

RPV: доход на посетителя определяется как «сумма денег, генерируемая каждый раз, когда клиент посещает веб-сайт», и рассчитывается путем «разделения общего дохода на общее количество посетителей веб-сайта».

Два варианта — «Вариант A» или «Вариант B» тестируются с использованием одного или нескольких методов — «Тест прироста AB», «Z-тест», «Проверка статистической гипотезы» или «Проверка гипотезы с двумя выборками». Оценки анализируются для принятия решения относительно версии дизайна для запуска в продакшн.

Для выполнения A/B-тестирования необходимо выполнить следующие действия:

• Определить цель, которую необходимо достичь с помощью онлайн-продвижения, включая обучение, удовлетворение потребностей в обучении и совместное продвижение.

• Определите ключевой показатель эффективности успеха клиента, который будет использоваться (рентабельность инвестиций, рейтинг кликов, средний доход за сеанс, доход на посетителя).

• Определить рекламное время и веб-локации с наибольшим объемом трафика и наиболее затратными для улучшения процесса оптимизации. Важно отметить, что для роликов с меньшим объемом трафика требуются более длительные периоды проведения кампании, чтобы получить стандартные результаты.

• Определить элементы дизайна кампании, которые будут проверены в ходе A/B-тестирования. Обычно изменение одного элемента фиксируется при A/B-тестировании, чтобы получить достоверные результаты. Можно протестировать изменения в баннере — заголовке или подвале, различном размещении сообщения с разнообразным набором слов — коротких точных или простых высказываний на понятном пользователю языке.

• Отследить данные, полученные в ходе тестового запуска, и выявить тенденции, приводящие к улучшению ключевых показателей эффективности, увеличению трафика, увеличению конверсий, увеличению доходов и повышению рентабельности инвестиций.

Предостережения при A/B-тестировании:

• Размер выборки. Размер выборки, используемый в A/B-тестировании, должен быть достаточно большим, чтобы генерировать достоверные мнения пользователей об изменениях в дизайне контента; как средство эффективного общения. Размер выборки от 100 до 1000 пользователей считается подходящим. Дополнительный уровень достоверности, статистическая значимость может наблюдаться для интерпретации результатов статистических тестов, используемых в A/B-тестировании.

• Блокировка. Блокировка – это учет систематических ошибок в группе выборки для сохранения случайности в выборке. Первым шагом является формирование однородных столбцов (пол, возраст, географическое положение, род занятий) в группах, после чего проводится рандомизированный тест внутри каждой группы для проверки тенденций внутри группы. Блокировка корректирует систематические ошибки, возникающие из-за однородных похожих групп респондентов, в группе выборочного контроля (отвечающей на дизайн кампании без измененной переменной дизайна) и тестовой группе (отвечающей на дизайн кампании с измененной переменной дизайна), с новым рандомизированным тестированием. Блокировка эффективна для 2–3 переменных, а повторная рандомизация предпочтительна при A/B-тестировании, когда число зависимых ковариат больше в выборке.

• Продолжительность тестового запуска в зависимости от объема трафика должна быть настроена таким образом, чтобы генерировать достоверные тенденции. Проведение A/B-тестирования с меньшим трафиком необходимо продолжать в течение более длительного периода времени, чтобы получить достоверную информацию о предпочтениях клиентов при разработке кампании.

• Тестирование многочисленных изменений в дизайне кампании с помощью A/B-тестирования может привести к ложной корреляции результатов.