Как настроить себя на успешное A / B-тестирование

Что мне нравится в электронной почте, так это данные. Поскольку он так легко доступен, легко запускать сплит-тесты и отслеживать производительность электронной почты в режиме реального времени. Вы часто обнаружите, что я изучаю электронные таблицы и постоянно обновляю данные, как если бы я смотрел близкую гонку.

Но все это не имеет значения, если A / B-тестирование настроено неправильно.

Без прочной основы ваши результаты A / B-теста ненадежны и могут привести вас в неверном направлении. И это может стоить вам вовлеченности, конверсий и, в конечном итоге, подписчиков и клиентов. Поэтому, прежде чем думать о следующем тесте, убедитесь, что вы настроены на успех, чтобы получить идеи, необходимые для реализации вашей маркетинговой стратегии.

И кто может лучше говорить об A / B-тестировании, чем наш постоянный эксперт по тестированию и старший менеджер по развитию Джон Ким? Джон проводит большую часть тестирования конверсии на нашем веб-сайте и немного научил меня оттачивать собственные навыки. И теперь ты тоже научишься у него.

Что необходимо сделать для успешного проведения A / B-теста?

Независимо от того, где вы тестируете (например, электронная почта, веб-сайт, приложение или платная реклама), основы остаются неизменными. Сделайте их правильно, и вы на правильном пути к результатам, которым можете доверять и в отношении которых будете действовать.

Знайте, что вы тестируете

Перед выполнением A / B-теста важно точно понять, что вы планируете тестировать. В Litmus у нас есть ряд критериев, которые мы документируем для каждого теста A / B, чтобы убедиться, что мы максимально увеличиваем наши шансы на успех и обучение.

Гипотеза

Возможно, самый важный элемент вашего A / B-теста - хорошая гипотеза - это ответ на проблему, которую вы пытаетесь решить.

Ваша гипотеза должна быть четкой, сфокусированной и выдвигаться с некоторыми основополагающими или ограниченными доказательствами. Проще говоря, это обоснованное предположение о том, как можно решить сложную бизнес-проблему. Важно, чтобы ваша гипотеза была четко сформулирована, потому что ваш эксперимент предназначен для ее проверки.

Начни писать свою гипотезу! В нашем случае они часто пишутся с использованием оператора if-then .

Пример: если мы изменим стандартный цвет кнопки на оранжевый вместо зеленого, мы увидим увеличение количества переходов по ссылкам.

Цель

Следующий элемент, который мы хотим задокументировать перед запуском любого эксперимента, - это цель эксперимента. В конечном итоге, чего вы пытаетесь достичь для своего бизнеса?

Четко объясните, что для вас значит успех.

Пример. Наша цель - увеличить количество переходов по кнопке, чтобы, в свою очередь, увеличить количество конверсий на следующей странице, что приведет либо к увеличению числа пробных подписок, либо к активациям в целом.

Метрики

Перед проведением эксперимента важно знать, что вы будете отслеживать по основным показателям. Учитывая вашу гипотезу и цель, четко определите, какой один или два показателя вы будете использовать для определения успеха, когда дело доходит до ваших ранее поставленных целей.

Этот шаг важен, потому что вы хотите убедиться, что вы:

1. Знайте, какие показатели важны для вас
2. Иметь возможность отслеживать и приписывать эту активность конкретному пользователю и когорте (ваши тестовые и контрольные аудитории взяты из вашей общей аудитории).
3. Разберитесь со своими вторичными метриками. Помимо основных показателей, важно отслеживать, как пользователи взаимодействуют с остальной частью вашего опыта.

Перила

Различные способы воздействия каждого конкретного теста на ваш бизнес могут стать неожиданностью.

На этом этапе мы документируем все показатели и каналы, на которые предстоящий A / B-тест может положительно или отрицательно повлиять.

Это упражнение важно выполнить, чтобы мы могли:

1. Минимизируйте сюрпризы для любого конкретного теста
2. Взвесьте (как можно лучше) потенциальные выгоды по сравнению с рисками / ограждениями.

Наша команда прилагает значительные усилия для подготовки к испытаниям. Мы подходим к каждому тесту с реалистичными ожиданиями, порогами успеха и неудачи и готовы к множеству результатов.

Доступ к нетипичным метрикам электронной почты в Litmus Analytics Стандартные показатели электронной почты, такие как открываемость, рейтинг кликов, количество отписок и многое другое, могут рассказать вам только об этом. Понять, как ваша аудитория взаимодействует с вашими электронными письмами, с помощью таких деталей, как почтовый клиент, скорость чтения и т. Д. Получить больше данных электронной почты →

Разделить тест и трек

A / B-тестирование или сплит-тестирование - это широко доступная функция, предлагаемая большинством поставщиков услуг электронной почты (ESP) и платформ автоматизации маркетинга. Если вы хотите провести тесты на своем маркетинговом сайте или в своем приложении, такие инструменты, как VWO или Optimizely, также предлагают решения.

Когда дело доходит до выбора аудитории, определите количество людей, которые вам нужно из вашей аудитории для участия в общем тесте, чтобы установить статистическую значимость, или вероятность того, что разница в коэффициентах конверсии между группой A и группой B не является случайной. . Если у вас достаточно большая аудитория, вы захотите выделить часть своей общей аудитории и разделить 50/50 на эти группы. Здесь, в Litmus, мы на протяжении многих лет сталкивались с различными инструментами, которые могут помочь. Один из наших фаворитов - калькулятор A / B-тестирования Нила Пателя.

Как только вы определите, сколько людей должно быть в вашей тестовой аудитории, половина из них не должна иметь никаких изменений в их опыте. Эта группа будет вашей контрольной группой. Насколько это возможно, их опыт должен максимально напоминать то, что вы считаете своим исходным или типичным опытом. Другая половина вашей аудитории будет вашей альтернативной когортой. Для пользователей в этой группе примените тестовое лечение.

A / B-тесты обычно анализируются на когортном уровне. Значение - мы оцениваем, значительно ли отличается когорта, получившая опыт лечения, от когорты контрольной группы.

Жизненно важно, чтобы включение члена аудитории в данную когорту было случайным и чтобы каждый получал только одно лечение. Если бы мы рассмотрели состав каждой из когорт (тестовая и контрольная), мы бы хотели убедиться, что мы не вносим никаких предубеждений в отношении конкретной демографической, фирмографической или любой другой характеристики пользователя для отдельной когорты. Рандомизация ваших когорт и меньшее количество вариантов лучше гарантирует, что ваши когорты представляют собой случайный выбор вашей аудитории.

Подведение итогов

A / B-тестирование не должно быть сложным, но если вы не настроите их правильно, выводы, которые вы почерпнете из них, не будут иметь большого значения. Понимание основополагающих принципов, которые мы здесь исследовали, настроит вас на успех, так что вы сможете применить полученные знания ко всей своей маркетинговой стратегии. Помните, сделайте шаг назад, чтобы обдумать каждый элемент, и вы добьетесь успеха. Следите за обновлениями нашего блога об A / B-тестировании вашего электронного маркетинга, где мы более подробно рассмотрим наш любимый канал.

Больше данных. Больше идей. Получайте больше данных электронной почты - больше информации - когда вы выходите за рамки стандартных показателей электронной почты. Доступ к скорости чтения, скорости пересылки и многому другому с помощью Litmus Email Analytics, встроенной прямо в Litmus Plus. Попробовать Litmus Plus бесплатно →