13 ошибок при A / B-тестировании электронной почты, которые ограничивают ваш успех

«Вы должны протестировать, иначе вы просто делаете обоснованное предположение», - сказал Стюарт Кларк из Red C на Litmus Live London 2017. A / B-тестирование электронной почты было постоянной темой на всех трех мероприятиях Litmus Live в прошлом году, а также на этом год. Это неудивительно, потому что для маркетологов электронной почты это одна из самых мощных возможностей для повторения и улучшения своих кампаний.

A / B-тестирование может помочь вам выявить важные изменения в строке темы, дизайне электронной почты, целевых страницах и многом другом. Насколько велика может быть прибыль?

«Бренды электронной коммерции, прошедшие A / B-тестирование
их электронные письма приносят на 20% больше дохода
в среднем."

- Алекс Келли (MailChimp)
на Litmus Live 2017

Твитнуть эту цитату →

Все, что вам нужно сделать для A / B-тестирования ваших писем, - это представить два варианта двум разным группам ваших подписчиков, а затем послушать. Метрики скажут вам их предпочтения, которые вы затем сможете действовать либо в краткосрочной перспективе, отправив выигрышный вариант большему количеству вашей аудитории, либо в долгосрочной перспективе, применив это предпочтение к будущим кампаниям.

Это звучит просто - и в некоторой степени это так, благодаря поставщикам услуг электронной почты и поставщикам программного обеспечения для тестирования, развертывающим функциональные возможности, которые значительно упрощают выполнение A / B-тестирования электронной почты, чем раньше. Однако довольно просто испортить A / B-тестирование электронной почты и либо прийти к неверному выводу, либо полностью подорвать ваши результаты.

Чтобы избежать такой участи, вот 13 советов, которые позволят вам получить максимальную отдачу от A / B-тестирования электронной почты:

1. Протестируйте свои автоматические и транзакционные электронные письма, а не только широковещательные и сегментированные электронные письма.

Согласно исследованию состояния электронной почты Litmus за 2018 год, почти 39% брендов никогда или редко проводят A / B-тестирование своих рассылок и сегментированных писем.

Это упущенная возможность, но на столе остается еще больше денег, если вы посмотрите на автоматические и транзакционные электронные письма. Более 65% брендов никогда или редко проводят A / B-тестирование своих автоматических писем, а 76% никогда или редко проводят A / B-тестирование своих транзакционных писем.

Это позор, потому что в то время как A / B-тестирование ваших широковещательных и сегментированных писем дает вам конкурентное преимущество, A / B-тестирование ваших автоматических и транзакционных писем дает вам огромное преимущество. Успешные почтовые программы на 58% чаще, чем менее успешные, проводят A / B-тестирование инициируемых им писем хотя бы раз в год. А успешные программы на 53% чаще проводят A / B-тестирование своих транзакционных писем хотя бы раз в год.

Оба эти действия входят в топ-10 из 20 успешных программ электронного маркетинга.

Хотя триггерные электронные письма часто превозносятся как программа «установи и забудь», помните, что ничто в электронном маркетинге не является «установи и забудь». По данным Litmus's State of Email Survey 2018, на эти электронные письма приходится большая часть доходов от электронного маркетинга более 13% брендов. И в ближайшие годы этот процент будет только расти.

2. Сосредоточьте свои усилия на A / B-тестировании электронной почты на тех элементах кампании, которые, скорее всего, повлияют на эффективность.

Иногда крошечные изменения второстепенных элементов могут сдвинуть вас с мертвой точки, но в целом разумно сосредоточить тестирование на ключевых элементах электронной почты, таких как строки темы, призывы к действию и изображения.

Согласно нашему опросу 3000 маркетологов, именно здесь большинство брендов в настоящее время сосредотачивают свои усилия на A / B-тестировании электронной почты. Вы тоже должны.

Помимо этих элементов, в ваших автоматических электронных письмах есть и другие элементы, которые стоит проверить. В своей книге « Правила электронного маркетинга» я рекомендую протестировать:

• Различная логика триггера для автоматических писем
• Как быстро отправить сообщение после срабатывания
• Следует ли отправлять серию автоматических писем
• Задержка между автоматическими письмами в серии
• При каких условиях автоматическое электронное письмо в серии пропускается
• При каких условиях заканчивается автоматическая серия электронных писем

3. Поймите, приблизит ли ваше тестирование вас к локальному максимуму или к глобальному максимуму.

Вы тестируете дополнительные настройки или радикальные изменения в своей электронной почте? Важно понимать это, потому что, как отметила менеджер по продуктам Indeed Джени Кларк на Litmus Live в Сан-Франциско, небольшие изменения могут помочь вам достичь вершины локального максимума, но не помогут вам открыть новый глобальный максимум. Чтобы найти это, вам нужно попробовать совершенно другой подход.

Например, проверка цвета кнопки или проверка текстовой ссылки по сравнению с кнопкой только поможет вам приблизиться к оптимизации дизайна электронного письма или достижению локального максимума. Тем не менее, тестирование дизайна с большим количеством копий в сравнении с дизайном с большим количеством изображений или интерактивным электронным письмом по сравнению с текстовым электронным письмом, например, может помочь вам найти лучший способ передать ваше сообщение или обнаружить глобальный максимум.

4. Ограничьте свои A / B-тесты одним делом за раз.

Если вы не проводите многовариантное тестирование, вам нужно ограничить свои A / B-тесты одним изменением на тест. Например, вы можете протестировать…

• Зеленая кнопка против синей кнопки
• Копия электронной почты с включенным социальным доказательством, а не без социального доказательства
• Образ образа жизни героя по сравнению с изображением героя продукта
• Процентная скидка по сравнению со скидкой в ​​долларах

Наличие нескольких различий между версиями A и B затрудняет четкое определение того, какой элемент привел к разнице в производительности.

5. Имейте четкую гипотезу.

Не делайте случайных изменений только для того, чтобы посмотреть, что может сработать. Знайте, чего вы пытаетесь достичь, и имейте твердое обоснование того, почему то, что вы тестируете, поможет вам достичь желаемой цели.

Например, если вы пытаетесь повысить конверсию, вы можете создать одну версию своего электронного письма, в которой призыв к действию находится в верхней части страницы, чтобы сделать его более заметным, и другую версию, где контент предшествует CTA и пытается создать сильный интерес к CTA. Кроме того, если вы хотите увидеть, повлияло ли обращение к новому подписчику по имени в строке темы приветственного письма на конверсию, вы должны протестировать одну строку темы с персонализацией, а другую - без.

Такие сайты, как Behave.org, могут дать вам множество идей для тестов, основанных на том, что сделали другие бренды.

6. Выберите показатель победы в тестировании, соответствующий цели вашей кампании.

Мы не можем не подчеркнуть это в достаточной степени: убедитесь, что вы провели тестирование достаточно далеко вниз по воронке, что в большинстве случаев означает тестирование как можно дальше по воронке. Большинство почтовых кампаний пытаются генерировать либо конверсии по электронной почте, либо конверсии продаж, поэтому ваши A / B-тесты электронной почты также должны быть направлены на изменение этих показателей.

Некоторые маркетологи ошибаются, считая, что строки темы могут влиять только на открытие, содержимое электронной почты может влиять только на клики, а содержимое целевой страницы может влиять только на конверсии. Не правда! Различные этапы взаимодействия по электронной почте не работают изолированно. Все они работают вместе, потому что подписчики испытывают их все вместе.

Когда вы принимаете это, вы понимаете, что цель темы письма не в том, чтобы открывать открывающиеся страницы. Это для создания открывающих, которые могут конвертировать. Точно так же цель электронного письма не в том, чтобы генерировать клики. Это для создания кликеров, которые могут конвертировать.

Не убежден? В этом легко убедиться. Просто запустите несколько A / B-тестов и посмотрите, как разные темы влияют на активность на всем протяжении воронки взаимодействия по электронной почте.

Кроме того, кого волнует, если тема А вызывает больше открытий, чем тема В, если последняя вызывает больше конверсий? И кого это волнует, если содержание письма А генерирует больше кликов, чем содержание письма Б, если последнее производит больше конверсий? Мы гарантируем, что ваш начальник предпочтет больше конверсий.

Состояние электронной почты в 2018 г. Как ваши возможности анализа электронной почты соотносятся с вашими коллегами? Узнайте, какие метрики электронной почты измеряют бренды (и какие инструменты они для этого используют), с помощью нашего первого отчета о состоянии электронной почты. Получить копию →

7. Используйте тестовые сегменты аудитории похожих подписчиков.

Точно так же, как вы контролируете изменения, которые вы вносите в версии A и B своего электронного письма, вам также необходимо контролировать, кто получает каждую версию. Вы хотите, чтобы две ваши тестовые группы состояли из одних и тех же подписчиков, будь то новые подписчики, подписчики, которые являются клиентами, или подписчики в определенной географии, например.

8. Используйте тестовые сегменты аудитории активных подписчиков.

Точно так же вы захотите убедиться, что обе группы тестовых получателей содержат активных подписчиков, которые регулярно взаимодействуют с вашими электронными письмами. В противном случае, если версия A переходит к группе подписчиков, которые намного более активны, чем группа, получившая версию B, то версия A с большей вероятностью «выиграет» по причинам, которые потенциально не имеют ничего общего с тем, что находится в версии A.

Единственное предостережение - если вы тестируете электронные письма с повторным привлечением внимания, и в этом случае вы, конечно, хотите настроить таргетинг на неактивных подписчиков.

9. Убедитесь, что ваши группы тестирования достаточно велики, чтобы ваши результаты были статистически значимыми.

Если ваша тестовая аудитория слишком мала, результаты вашего теста могут быть просто случайными. Убедитесь, что ваши результаты статистически значимы, имея достаточно большую тестовую аудиторию.

У Kissmetrics, AB Testguide и Optimizely есть онлайн-калькуляторы, которые помогут вам.

10. При необходимости используйте удерживающие группы.

Для любого письма, которое вы тестируете, подумайте о том, как ваши подписчики вообще не получат это письмо. Наличие группы подписчиков, которые не получают электронное письмо, - вот как вы можете измерить этот эффект.

Группы блокировки особенно ценны, когда дело доходит до тестирования автоматизированных писем. Например, если вы тестируете производительность нового электронного письма об отказе от корзины покупок, вы хотите убедиться, что часть тех, кто бросил корзину, вообще не получит электронное письмо об отказе от корзины. Это позволит вам определить, раздражает ли ваше письмо о брошенной корзине подписчиков или мешает их естественному покупательскому поведению.

Однако вы можете использовать группу удержания для любого отправляемого вами электронного письма, чтобы убедиться, что электронная почта действительно оказывает положительное влияние на ваших подписчиков. Компания Atlassian, производящая корпоративное программное обеспечение, создала систему, которая требует тестирования каждой электронной почты, включая обязательные группы задержек, сообщил участникам Litmus Live в Сан-Франциско старший менеджер по продуктам платформы взаимодействия Джефф Синклер.

11. Создайте план тестирования, чтобы проводить регулярные тесты и записывать результаты тестов.

Специальное A / B-тестирование неэффективно, потому что оно носит спорадический и несфокусированный характер. Чтобы получить максимальную отдачу от ваших A / B-тестов, вам нужен план. Разработайте график тестирования, в котором записываются:

• Теории, которые вы пытаетесь подтвердить
• Какие электронные письма вы используете для проверки каждой теории
• Результаты каждого теста и их влияние на ваши будущие планы тестирования.

Старайтесь включать A / B-тест как минимум в половину ваших трансляций и сегментированных рекламных писем, так как наше исследование показывает, что бренды получают небольшое конкурентное преимущество, если они тестируют реже. Точно так же бренды сообщают о значительном увеличении успеха, когда они проводят A / B-тестирование своих триггерных и транзакционных писем не реже одного раза в 6 месяцев.

Вам также понадобится план тестирования, потому что вам нужно…

12. Подтвердите результаты тестов.

Любой одиночный A / B-тест никогда не бывает окончательным. В краткосрочной перспективе любой подъем, который вы видите, может быть результатом эффекта новизны. Подписчиков привлекает новое, которое может дать любые изменения, которые вы вносите, по сравнению с контролем.

Однако эффект новизны довольно быстро блекнет. Таким образом, если вы запустите один и тот же тест два или три раза в течение определенного периода времени, вы избавитесь от любого эффекта новизны и сможете увидеть истинное влияние изменения.

В долгосрочной перспективе поведение и отношение потребителей меняются. Состав вашего списка адресов электронной почты также может меняться со временем в зависимости от практики привлечения подписчиков, изменений в ваших предложениях продуктов или услуг, расширения или отступления от определенных географических регионов и других факторов.

Чем более очевиден успех теста, тем дольше вы, вероятно, можете ждать, чтобы подтвердить его снова. Но в конечном итоге вы захотите периодически подтверждать каждый тест хотя бы один или два раза - что, опять же, является причиной важности плана A / B-тестирования.

13. Поделитесь результатами A / B-тестов электронной почты с другими владельцами каналов в вашей компании.

Джонатан Пей из Holistic Email Marketing сказал участникам Litmus Live London, что они обязательно поделятся своими мыслями о A / B-тестировании электронной почты со своими командами в Интернете, социальных сетях и рекламе. Это отличный совет, потому что изучение электронного маркетинга может способствовать успеху в других каналах.

По данным опроса, проведенного Litmus, в котором приняли участие более 600 маркетологов, слабая координация между каналами и отделами была определена как самая большая проблема, с которой столкнулись маркетологи электронной почты в 2018 году. Обмен результатами A / B-тестирования - это еще один способ, с помощью которого бренды могут развивать омниканальный подход к маркетингу и повышению качества обслуживания клиентов.

Чтобы получить максимальную отдачу от ваших усилий по A / B-тестированию электронной почты…

Следуйте этим 13 рекомендациям:

1. Тестируйте свои автоматические и транзакционные электронные письма, а не только широковещательные и сегментированные электронные письма.
2. Сосредоточьте свои усилия на A / B-тестировании электронной почты на тех элементах кампании, которые, скорее всего, повлияют на эффективность.
3. Поймите, приблизит ли ваше тестирование вас к локальному максимуму или к глобальному максимуму.
4. Ограничьте свои A / B-тесты одним делом за раз.
5. Имейте четкую гипотезу.
6. Выберите показатель победы в тестировании, соответствующий цели вашей кампании.
7. Используйте тестовые сегменты аудитории похожих подписчиков.
8. Используйте тестовые сегменты аудитории активных подписчиков.
9. Убедитесь, что ваши группы тестирования достаточно велики, чтобы ваши результаты были статистически значимыми.
10. При необходимости используйте удерживающие группы.
11. Составьте план тестирования, чтобы вы могли проводить регулярное тестирование и записывать результаты тестирования.
12. Подтвердите результаты тестов.
13. Поделитесь результатами A / B-тестов электронной почты с другими владельцами каналов в вашей компании.