Полное руководство по A/B-тестированию: советы экспертов от Google, HubSpot и др.

Опубликовано: 2020-04-10

Вероятно, вы не в первый раз читаете об A/B-тестировании. Возможно, вы даже уже провели A/B-тестирование своих тем электронной почты или сообщений в социальных сетях.

Несмотря на то, что об A/B-тестировании в области маркетинга было сказано много, многие все еще ошибаются. Результат? Люди, принимающие важные деловые решения на основе неточных результатов неправильного теста.

A/B-тестирование часто чрезмерно упрощается, особенно в контенте, написанном для владельцев магазинов. Ниже вы найдете все, что вам нужно знать, чтобы начать работу с различными типами A/B-тестирования для электронной коммерции, объясненное максимально просто.

Оглавление

  • Что такое A/B-тестирование?
  • Как работает A/B-тестирование
  • Что такое A/B/n тестирование?
  • Как долго должны выполняться A/B-тесты?
  • Зачем вам A/B-тестирование?
  • Что вам следует A/B-тестировать?
  • Приоритизация идей A/B-тестирования
  • Ускоренный курс по статистике AB-тестирования
  • Как настроить A/B тест
  • Как анализировать результаты A/B-тестирования
  • Как архивировать прошлые A/B-тесты
  • Процессы A/B-тестирования профессионалов
  • Оптимизируйте A/B-тестирование для вашего бизнеса

Что такое A/B-тестирование?

A/B-тестирование, иногда называемое сплит-тестированием, представляет собой процесс сравнения двух версий одной и той же веб-страницы, электронной почты или другого цифрового актива, чтобы определить, какая из них работает лучше.

Этот процесс позволяет вам ответить на важные бизнес-вопросы, помогает увеличить доход от уже имеющегося трафика и закладывает основу для маркетинговой стратегии, основанной на данных.

Узнайте больше: Как провести SWOT-анализ для вашего бизнеса

Как работает A/B-тестирование

При использовании A/B-тестирования в контексте маркетинга вы показываете 50% посетителей версию А вашего актива (назовем это «контроль») и 50% посетителей версию Б (назовем это «вариант»).

Побеждает версия, дающая наивысший коэффициент конверсии. Например, предположим, что вариант (версия Б) дал самый высокий коэффициент конверсии. Затем вы должны объявить его победителем и подтолкнуть 100% посетителей к этому варианту.

Затем вариант становится новым элементом управления, и вы должны разработать новый вариант.

Стоит отметить, что коэффициент конверсии A/B-теста — несовершенный показатель успеха. Почему? Вы можете мгновенно повысить коэффициент конверсии, сделав все в своем магазине бесплатным. Конечно, это ужасное деловое решение.

Вот почему вы должны отслеживать ценность конверсии вплоть до звонка кассового аппарата.

Список для бесплатного чтения: Оптимизация конверсии для начинающих

Превратите больше посетителей веб-сайта в клиентов, пройдя ускоренный курс по оптимизации конверсии. Получите доступ к нашему бесплатному кураторскому списку высокоэффективных статей ниже.

Что такое A/B/n тестирование?

С помощью A/B/n-тестирования вы можете протестировать более одного варианта в сравнении с контрольным. Таким образом, вместо того, чтобы показывать 50 % посетителей контрольный вариант и 50 % посетителей вариант, вы можете показать 25 % посетителей контрольный вариант, 25 % первый вариант, 25 % второй вариант и 25 % третий вариант.

Примечание. Это отличается от многовариантного тестирования, которое также включает несколько вариантов. При выполнении многовариантных тестов вы тестируете не только несколько вариантов, но и несколько элементов, например, A/B-тестирование UX или сплит-тестирование SEO. Цель состоит в том, чтобы выяснить, какая комбинация работает лучше всего.

Многофакторный тест
Источник изображения: Google .

Вам понадобится много трафика для запуска многовариантных тестов, так что пока можете их игнорировать.

Как долго должны выполняться A/B-тесты?

Проведите A/B-тестирование как минимум в течение одного, а в идеале двух полных бизнес-циклов. Не останавливайте свой тест только потому, что вы достигли значимости. Вам также необходимо будет соответствовать заранее определенному размеру выборки. Наконец, не забудьте запустить все тесты с шагом в неделю.

Почему два полных бизнес-цикла? Для начинающих:

  1. Вы можете учитывать покупателей типа «мне нужно подумать об этом».
  2. Вы можете учитывать все различные источники трафика (Facebook, новостная рассылка по электронной почте, обычный поиск и т. д.)
  3. Вы можете объяснить аномалии. Например, ваша пятничная рассылка по электронной почте.

Если вы использовали какой-либо инструмент для тестирования A/B или целевой страницы, вы, вероятно, знакомы с маленькой зеленой иконкой «Статистически значимо».

К сожалению, для многих это универсальный знак «тест готов, звоните». Как вы узнаете подробнее ниже, то, что статистическая значимость теста A/B была достигнута, не означает, что вы должны прекратить тест.

И ваш заранее определенный размер выборки? Это не так пугающе, как кажется. Откройте калькулятор размера выборки, такой как этот от Эвана Миллера.

Калькулятор размера выборки

Этот расчет говорит о том, что если ваш текущий коэффициент конверсии составляет 5%, и вы хотите иметь возможность обнаружить 15%-й эффект, вам потребуется выборка из 13 533 на вариант. Итак, в общей сложности требуется более 25 000 посетителей, если это стандартный A/B-тест.

Посмотрите, что произойдет, если вы хотите обнаружить меньший эффект:

Калькулятор размера выборки

Все, что изменилось, — это минимальный обнаруживаемый эффект (MDE). Он снижен с 15% до 8%. В этом случае вам потребуется выборка из 47 127 на вариант. Итак, в общей сложности требуется около 100 000 посетителей, если это стандартный A/B-тест.

Независимо от того, проводите ли вы A/B-тестирование UX или сплит-тестирование SEO, размер вашей выборки должен быть рассчитан заранее, до начала теста. Ваш тест не может остановиться, даже если он достигает значимости, пока не будет достигнут заданный размер выборки. Если это так, тест недействителен.

Вот почему вы не можете бесцельно следовать лучшим практикам, таким как «остановиться после 100 конверсий».

Также важно запускать тесты для полных недельных приращений. Ваш трафик может меняться в зависимости от дня недели и времени суток, поэтому обязательно укажите каждый день недели.

Зачем вам A/B-тестирование?

Допустим, вы тратите 100 долларов на рекламу в Facebook, чтобы направить 10 человек на свой сайт. Средняя стоимость вашего заказа составляет $25. Восемь из этих посетителей уходят, ничего не купив, а двое других тратят по 25 долларов каждый. Результат? Вы потеряли 50 долларов.

Теперь предположим, что вы тратите 100 долларов на рекламу в Facebook, чтобы направить 10 человек на свой сайт. Средняя стоимость вашего заказа по-прежнему составляет 25 долларов США. Однако на этот раз только пятеро из этих посетителей уходят, ничего не купив, а остальные пятеро тратят по 25 долларов каждый. Результат? Вы заработали 25 долларов.

Конечно, это один из самых простых примеров A/B-тестирования. Но, увеличив коэффициент конверсии на сайте, вы сделали тот же трафик более ценным.

Изображения и тексты A/B-тестирования также помогут вам раскрыть информацию, независимо от того, выиграет ваш тест или проиграет. Эта ценность очень универсальна. Например, информация о копирайтинге из A/B-теста описания продукта может помочь дополнить ваше ценностное предложение, видео о продукте или другие описания продукта.

Вы также не можете игнорировать неотъемлемую ценность сосредоточения внимания на постоянном повышении эффективности вашего магазина.

Стоит ли проводить A/B-тестирование?

Не обязательно. Если вы используете сайт с низким трафиком, веб-приложение или мобильное приложение, A/B-тестирование, вероятно, не лучший способ оптимизации для вас. Вы, вероятно, увидите более высокую отдачу от инвестиций (ROI), например, от проведения пользовательского тестирования или общения с вашими клиентами.

Вопреки распространенному мнению, оптимизация коэффициента конверсии не начинается и не заканчивается тестированием.

Рассмотрим цифры из калькулятора размера выборки выше. 47 127 посетителей на вариант, чтобы определить эффект 8%, если ваш базовый коэффициент конверсии составляет 5%. Допустим, вы хотите протестировать страницу продукта. Принимает ли он около 100 000 посетителей за две-четыре недели?

Почему две-четыре недели? Помните, мы хотим запустить тесты как минимум в течение двух полных бизнес-циклов. Обычно на это уходит от двух до четырех недель. Теперь, возможно, вы думаете: «Нет проблем, Шанель, я проведу тест дольше двух-четырех недель, чтобы получить требуемый размер выборки». Это тоже не сработает.

Видите ли, чем дольше выполняется тест, тем больше он подвержен внешним угрозам достоверности и загрязнению образцов. Например, посетители могут удалить свои файлы cookie и в конечном итоге повторно пройти A/B-тестирование в качестве нового посетителя. Или кто-то может переключиться со своего мобильного телефона на рабочий стол и увидеть альтернативный вариант.

По сути, позволить вашему тесту работать слишком долго так же плохо, как и не дать ему работать достаточно долго.

Тестирование стоит вложений для магазинов, которые могут собрать требуемый размер выборки за две-четыре недели. Магазины, которые не могут, должны рассмотреть другие формы оптимизации, пока их трафик не увеличится.

Юлия Старостенко, специалист по данным в Shopify, соглашается, объясняя:

Эксперт

Юлия Старостенко, Shopify

«Экспериментировать — это весело! Но важно убедиться, что результаты точны.

«Спросите себя: достаточно ли велика ваша аудитория? Вы собрали достаточно данных? Для достижения истинной статистической значимости (в разумные сроки) размер аудитории должен быть достаточно большим».

Что вам следует A/B-тестировать?

Я не могу сказать вам, что вы должны A/B-тестировать. Знаю, знаю. Если бы я мог дать вам список из 99 вещей, которые нужно протестировать прямо сейчас, это определенно облегчило бы вашу жизнь. Нет недостатка в маркетологах, готовых сделать это в обмен на клики.

По правде говоря, единственные тесты, которые стоит запускать, — это тесты, основанные на ваших собственных данных. У меня нет доступа к вашим данным, вашим клиентам и т. д., и никто не курирует эти огромные списки идей для A/B-тестирования. Никто из нас не может осмысленно сказать вам, что тестировать.

Единственные тесты, которые стоит запускать, — это тесты, основанные на ваших собственных данных.

Вместо этого я призываю вас самостоятельно ответить на этот вопрос с помощью качественного и количественного анализа. Некоторые популярные примеры A/B-тестирования:

  • Технический анализ. Ваш магазин загружается правильно и быстро в каждом браузере? На каждом устройстве? У вас может быть блестящий новый iPhone 11, но кто-то где-то все еще качает Motorola Razr 2005 года. Если ваш сайт не работает должным образом и быстро, он определенно не конвертируется так хорошо, как мог бы.
  • Опросы на месте. Они появляются, когда посетители вашего магазина просматривают его. Например, при опросе на месте у посетителей, которые находились на одной и той же странице какое-то время, могут спросить, есть ли что-то, что удерживает их от совершения сегодняшней покупки. Если так, то, что это? Вы можете использовать эти качественные данные, чтобы улучшить свой текст и коэффициент конверсии.
  • Интервью с клиентами. Ничто не заменит разговор по телефону с вашими клиентами. Почему они выбрали именно ваш магазин, а не магазины конкурентов? Какую проблему они пытались решить, когда пришли на ваш сайт? Есть миллион вопросов, которые вы могли бы задать, чтобы понять, кто ваши клиенты и почему они действительно покупают у вас.
  • Опросы клиентов. Опросы клиентов — это полномасштабные опросы, которые проводятся среди людей, которые уже совершили покупку (а не среди посетителей). При разработке опроса вы хотите сосредоточиться на: определении ваших клиентов, определении их проблем, определении колебаний, которые у них были перед покупкой, и определении слов и фраз, которые они используют для описания вашего магазина.
  • Анализ аналитики. Правильно ли отслеживают и сообщают ваши данные ваши инструменты аналитики? Это может звучать глупо, но вы удивитесь, узнав, сколько инструментов аналитики настроено неправильно. Анализ аналитики заключается в том, чтобы выяснить, как ведут себя ваши посетители. Например, вы можете сосредоточиться на воронке. Где самые большие утечки воронки конверсии? Другими словами, где большинство людей выбывает из вашей воронки? Это хорошее место для начала тестирования.
  • Пользовательское тестирование. Здесь вы наблюдаете, как реальные люди в платном контролируемом эксперименте пытаются выполнять задачи на вашем сайте. Например, вы можете попросить их найти видеоигру в диапазоне от 40 до 60 долларов и добавить ее в корзину. Выполняя эти задания, они вслух рассказывают о своих мыслях и действиях.
  • Повтор сеанса. Повторы сеансов аналогичны пользовательскому тестированию, но теперь вы имеете дело с реальными людьми с реальными деньгами и реальным намерением совершить покупку. Вы будете наблюдать, как ваши настоящие посетители перемещаются по вашему сайту. Что им трудно найти? Где они разочаровываются? Где они кажутся смущенными?

Существуют и дополнительные типы исследований, но начните с выбора лучшей для вас методологии A/B-тестирования. Если вы пробежитесь по некоторым из них, у вас будет огромный список идей, основанных на данных, которые стоит протестировать. Я гарантирую, что ваш список принесет вам больше пользы, чем любая статья «99 вещей, которые нужно проверить прямо сейчас».

Приоритизация идей A/B-тестирования

Огромный список идей для A/B-тестирования — это интересно, но не совсем полезно для принятия решения о том, что тестировать. С чего начать? Вот где в дело вступает расстановка приоритетов.

Есть несколько распространенных схем расстановки приоритетов, которые вы можете использовать:

  • ЛЕД. ICE означает воздействие, уверенность и легкость. Каждый из этих факторов получает рейтинг от 1 до 10. Например, если вы можете легко провести тест самостоятельно без помощи разработчика или дизайнера, вы можете поставить восьмерку за легкость. Здесь вы используете свое суждение, и если у вас есть более одного человека, проводящего тесты, рейтинги могут стать слишком субъективными. Это помогает иметь набор руководящих принципов, чтобы все оставались объективными.
  • ПИРОГ. PIE означает потенциал, важность и легкость. Опять же, каждый фактор получает рейтинг от 1 до 10. Например, если тест охватит 90% вашего трафика, вы можете поставить важность восемь. PIE так же субъективен, как и ICE, поэтому для этой структуры также могут быть полезны рекомендации.
  • ПЧЛ. PXL — это структура приоритизации от CXL. Это немного другое и более настраиваемое, что требует более объективных решений. Вместо трех факторов вы найдете вопросы «да/нет» и вопрос о простоте реализации. Например, система может спросить: «Разработан ли тест для повышения мотивации?» Если да, он получает 1. Если нет, он получает 0. Вы можете узнать больше об этой структуре и скачать таблицу здесь.

Теперь у вас есть представление о том, с чего начать, но это также может помочь классифицировать ваши идеи. Например, во время недавнего исследования конверсии я использовал три категории: внедрить, исследовать и протестировать.

  • Воплощать в жизнь. Просто сделай это. Это сломано или очевидно.
  • Расследовать. Требует дополнительных размышлений, чтобы определить проблему или найти решение.
  • Тестовое задание. Идея здравая и информативная. Проверь это!

Между этой категоризацией и расстановкой приоритетов все готово.

Ускоренный курс по статистике A/B-тестирования

Прежде чем запускать тест, важно изучить статистику. Я знаю, статистика обычно не нравится фанатам, но думайте об этом как об обязательном курсе, который вы неохотно выбираете, чтобы получить высшее образование.

Статистика — важная часть A/B-тестирования. К счастью, инструменты A/B-тестирования и программное обеспечение для сплит-тестирования облегчили работу оптимизатора, но базовое понимание того, что происходит за кулисами, имеет решающее значение для последующего анализа результатов тестирования.

Алекс Биркетт, менеджер по маркетингу роста в HubSpot, объясняет:

Эксперт

Алекс Биркетт, HubSpot

«Статистика — это не волшебное число конверсий или бинарное «Успех!». или «Неудача». Это процесс, используемый для принятия решений в условиях неопределенности и снижения риска путем уменьшения неопределенности того, каким будет результат данного решения.

«Имея это в виду, я думаю, что наиболее необходимо знать основы: что такое среднее значение, дисперсия, выборка, стандартное отклонение, регрессия к среднему и что представляет собой «репрезентативная» выборка. Кроме того, когда вы только начинаете проводить A/B-тестирование, полезно установить определенные ограничения, чтобы свести к минимуму человеческие ошибки».

Что это значит?

Среднее — это среднее. Ваша цель — найти среднее значение, представляющее целое.

Например, допустим, вы пытаетесь найти среднюю цену видеоигр. Вы не собираетесь складывать стоимость каждой видеоигры в мире и делить ее на количество всех видеоигр в мире. Вместо этого вы выделите небольшую выборку, репрезентативную для всех видеоигр в мире.

В конечном итоге вы можете найти среднюю цену пары сотен видеоигр. Если вы выбрали репрезентативную выборку, средняя цена этих двухсот видеоигр должна быть репрезентативной для всех видеоигр в мире.

Что такое выборка?

Чем больше размер выборки, тем меньше будет вариабельность, а это означает, что среднее значение с большей вероятностью будет точным.

Таким образом, если вы увеличите выборку с двухсот видеоигр до двух тысяч, у вас будет меньше дисперсии и более точное среднее значение.

Что такое дисперсия?

Дисперсия – это средняя изменчивость. По существу, чем выше изменчивость, тем менее точным будет среднее значение при прогнозировании отдельной точки данных.

Итак, насколько близко среднее значение к фактической цене каждой отдельной видеоигры?

Что такое статистическая значимость?

Предполагая, что между A и B нет разницы, как часто вы случайно увидите эффект?

Чем ниже уровень статистической значимости, тем больше вероятность того, что ваш выигрышный вариант вообще не является выигрышным.

Проще говоря, низкий уровень значимости означает, что существует большая вероятность того, что ваш «победитель» не является настоящим победителем (это называется ложным срабатыванием).

Имейте в виду, что большинство инструментов A/B-тестирования и программного обеспечения для A/B-тестирования с открытым исходным кодом вызывают статистическую значимость, не дожидаясь достижения заранее определенного размера выборки или момента времени. Вот почему вы можете заметить, что ваш тест переключается между статистически значимым и статистически незначимым.

Пип Ладжа, основатель CXL Institute, хочет, чтобы больше людей действительно понимали статистическую значимость A/B-тестирования и почему это важно:

Эксперт

Пип Лайя, Институт CXL

«Статистическая значимость не равна достоверности — это не правило остановки. Когда вы достигаете статистической значимости 95% или выше, это означает очень мало, пока не будут выполнены два других более важных условия:

«1. Размер выборки достаточен, и вы вычисляете его с помощью калькуляторов размера выборки. Это означает, что в эксперименте приняло участие достаточное количество людей, так что мы можем сделать какой-либо вывод.

«2. Тест длился достаточно долго, чтобы образец был репрезентативным (и не слишком долго, чтобы избежать загрязнения образца). В большинстве случаев вы захотите провести тесты через две, три или четыре недели, в зависимости от того, как быстро вы сможете получить необходимый образец».

Что такое регрессия к среднему?

Вы можете заметить резкие колебания в начале вашего A/B-теста.

Регрессия к среднему значению — это явление, которое говорит о том, что если что-то экстремально при первом измерении, оно, вероятно, будет ближе к среднему значению при втором измерении.

Если единственная причина, по которой вы вызываете тест, заключается в том, что он достиг статистической значимости, вы можете увидеть ложноположительный результат. Ваш выигрышный вариант, скорее всего, со временем вернется к среднему значению.

Что такое статистическая мощность?

Если предположить, что между А и Б есть разница, как часто вы будете наблюдать эффект?

Чем ниже уровень силы, тем больше шанс, что победитель останется неузнанным. Чем выше уровень силы, тем меньше шанс, что победитель останется неузнанным. На самом деле все, что вам нужно знать, это то, что статистическая мощность 80% является стандартной для большинства инструментов A/B-тестирования и/или любого сервиса сплит-тестирования.

Тон Весселинг, основатель Online Dialogue, желает, чтобы больше людей знали о статистической силе:

Эксперт

Тон Весселинг, онлайн-диалог

«Многие люди беспокоятся о ложных срабатываниях. Мы гораздо больше беспокоимся о ложноотрицательных результатах. Зачем проводить эксперименты, когда шансы найти доказательства того, что ваше положительное изменение имеет значение, очень малы?»

Что такое внешние угрозы валидности?

Существуют внешние факторы, которые угрожают достоверности ваших тестов. Например:

  • Распродажи в Черную пятницу и Киберпонедельник (BFCM)
  • Положительное или отрицательное упоминание в прессе
  • Запуск крупной платной кампании
  • День недели
  • Смена времен года

Один из наиболее распространенных примеров A/B-тестирования, когда внешние угрозы валидности влияют на ваши результаты, — это сезонные события. Скажем, вы должны были провести тест в декабре. Крупные праздничные дни означают увеличение посещаемости вашего магазина в течение этого месяца. В январе вы можете обнаружить, что ваш декабрьский победитель больше не работает хорошо.

Почему?

Из-за внешней угрозы действительности: праздники.

Данные, на которых вы основывали свое тестовое решение, были аномалией. Когда в январе все успокоится, вы можете быть удивлены, обнаружив, что ваш победитель проигрывает.

Вы не можете устранить внешние угрозы достоверности, но вы можете смягчить их, выполняя тесты в течение полных недель (например, не начинать тест в понедельник и заканчивать его в пятницу), включая различные типы трафика (например, не тестировать исключительно платный трафик, а затем распространять результаты на каждый источник трафика), а также помнить о потенциальных угрозах.

Если вы проводите тест в разгар сезона покупок, например BFCM, или из-за серьезной внешней угрозы достоверности, вы можете прочитать наше Полное руководство по A/B-тестированию.

Как настроить A/B тест

Давайте пройдемся по небольшому руководству по A/B-тестированию. Прежде чем что- то проверять, нужно иметь твердую гипотезу. (Отлично, мы только что закончили урок математики и теперь переходим к естественным наукам.)

Не волнуйтесь, это не сложно. По сути, вам нужно проверить гипотезу, а не идею. Гипотеза поддается измерению, направлена ​​на решение конкретной проблемы конверсии и фокусируется на выводах, а не на победах.

Вам нужно A/B-тестировать гипотезу, а не идею.

Всякий раз, когда я пишу гипотезу, я использую формулу, заимствованную из набора гипотез Крейга Салливана:

  • Потому что вы видите [вставьте данные/отзывы из исследования]
  • Вы ожидаете, что [изменение, которое вы тестируете], вызовет [воздействие, которое вы ожидаете] и
  • Вы измерите это, используя [показатель данных]

Легко, верно? Все, что вам нужно сделать, это заполнить пробелы, и ваша тестовая идея превратится в гипотезу.

Выбор инструмента A/B-тестирования

Теперь вы можете приступить к выбору инструмента A/B-тестирования или сервиса сплит-тестирования. Чаще всего вы сначала думаете о Google Optimize, Optimizely и VWO.

Все хорошие, безопасные варианты.

  • Гугл Оптимизация. Бесплатно, за исключением некоторых многовариантных ограничений, которые не должны сильно повлиять на вас, если вы только начинаете. Он хорошо работает при выполнении A/B-тестирования Google Analytics, что является плюсом.
  • Оптимизировано. Легко запускать небольшие тесты даже без технических навыков. Stats Engine упрощает анализ результатов тестирования. Как правило, Optimizely — самый дорогой вариант из трех.
  • ВВО. VWO имеет SmartStats, чтобы упростить анализ. Кроме того, у него есть отличный WYSIWYG-редактор для начинающих. Каждый план VWO поставляется с тепловыми картами, опросами на месте, аналитикой форм и т. д.

У нас также есть несколько инструментов A/B-тестирования в Shopify App Store, которые могут оказаться вам полезными.

Выбрав инструмент для A/B-тестирования или программное обеспечение для сплит-тестирования, заполните регистрационную форму и следуйте предоставленным инструкциям. Процесс варьируется от инструмента к инструменту. Однако, как правило, вас попросят установить фрагмент кода на свой сайт и установить цели.

Как анализировать результаты A/B-тестирования

Помните, я сказал, что написание гипотезы смещает акцент с побед на понимание? Криста Сейден, специалист по аналитике и менеджер по продукту в Google, объясняет, что это значит:

Эксперт

Криста Сейден, Google

«Самый упускаемый из виду аспект A/B-тестирования — это учиться на своих неудачниках. На самом деле, в программах оптимизации, которые я запускал, у меня есть привычка публиковать «отчет о неудачах», в котором я называю некоторых из самых больших неудачников». квартал и чему мы научились у них.

«Одна из моих самых любимых была из кампании, на создание которой ушло несколько месяцев. Мы смогли незаметно протестировать целевую страницу непосредственно перед ее запуском, и это хорошо, что мы это сделали, потому что она с треском провалилась. Если бы мы действительно запустили страницу в том виде, в котором она была, мы бы сильно пострадали в результате. Мы не только сэкономили бизнесу кучу денег, но и смогли сделать некоторые предположения (которые мы позже проверили) о том, почему новая страница работала так плохо, и это сделало нас лучшими маркетологами и более успешными. в будущих кампаниях».

Если вы правильно сформулируете свою гипотезу, даже проигравший станет победителем, потому что вы получите информацию, которую сможете использовать для будущих тестов и в других областях вашего бизнеса. Итак, когда вы анализируете результаты своего теста, вам нужно сосредоточиться на выводах, а не на том, выиграл тест или проиграл. Всегда есть чему учиться, всегда есть что анализировать. Не увольняйте неудачников!

Если вы правильно сформулируете свою гипотезу, даже проигравший станет победителем.

Самое важное, на что следует обратить внимание, — это необходимость сегментации. Тест может быть неудачным в целом, но есть вероятность, что он показал хорошие результаты по крайней мере с одним сегментом. Что я имею в виду под сегментом?

  • Новые посетители
  • Постоянные посетители
  • iOS-посетители
  • Посетители Android
  • Посетители Chrome
  • Посетители сафари
  • Посетители рабочего стола
  • Посетители планшета
  • Органические поисковые посетители
  • Платные посетители
  • Посетители социальных сетей
  • Вошедшие покупатели

Вы поняли идею, верно?

Когда вы смотрите на результаты в своем инструменте тестирования, вы смотрите на целую коробку конфет. Что вам нужно сделать, так это разделить Smarties по цвету, чтобы вы могли съесть красные в последнюю очередь. Я имею в виду, чтобы вы могли раскрыть более глубокие, сегментированные идеи.

Скорее всего, гипотеза подтвердилась среди определенных сегментов. Это тоже о чем-то говорит.

Анализ — это гораздо больше, чем вопрос о том, был ли тест победителем или проигравшим. Сегментируйте свои данные, чтобы найти скрытую информацию под поверхностью.

Инструменты A/B-тестирования не сделают анализ за вас, так что это важный навык, который нужно развивать с течением времени.

Бесплатная электронная книга: Аналитика электронной торговли для начинающих

Узнайте, какие показатели являются ключевыми для создания и развития вашего онлайн-бизнеса. Это бесплатное руководство — идеальный первый шаг в изучении аналитики электронной торговли.

Как архивировать прошлые A/B-тесты

Допустим, завтра вы проводите свой первый тест. Через два года ты вспомнишь подробности этого испытания? Скорее всего, не.

Вот почему важно архивировать результаты A/B-тестирования. Без хорошо поддерживаемого архива все те идеи, которые вы получаете, будут потеряны. Кроме того, я не шучу, очень легко проверить одно и то же дважды, если вы не архивируете.

Однако «правильного» способа сделать это не существует. Вы можете использовать такой инструмент, как «Проекты» или «Эффективные эксперименты», или вы можете использовать Excel. Это действительно зависит от вас, особенно когда вы только начинаете. Просто убедитесь, что вы отслеживаете:

  • Гипотеза
  • Скриншоты управления и варианта
  • Независимо от того, выиграл он или проиграл
  • Информация, полученная в результате анализа

По мере своего роста вы будете благодарить себя за то, что сохранили этот архив. Это поможет не только вам, но и новым сотрудникам и консультантам/заинтересованным сторонам.

Процессы A/B-тестирования профессионалов

Теперь, когда вы ознакомились со стандартным учебным пособием по A/B-тестированию, давайте взглянем на точные процессы профессионалов из таких компаний, как Google и HubSpot.

Список для бесплатного чтения: Оптимизация конверсии для начинающих

Превратите больше посетителей веб-сайта в клиентов, пройдя ускоренный курс по оптимизации конверсии. Получите доступ к нашему бесплатному кураторскому списку высокоэффективных статей ниже.

Криста Сейден, Google

Мой пошаговый процесс A/B-тестирования веб-сайтов и приложений начинается с анализа — на мой взгляд, это ядро ​​любой хорошей программы тестирования. На этапе анализа цель состоит в том, чтобы изучить ваши аналитические данные, данные опросов или UX, или любые другие источники информации о клиентах, которые могут у вас быть, чтобы понять, где у вас есть возможности для оптимизации.

Как только у вас появится хороший поток идей на этапе анализа, вы можете перейти к гипотезе о том, что может пойти не так, и как вы могли бы потенциально исправить или улучшить эти области оптимизации.

Затем пришло время построить и запустить ваши тесты. Обязательно запускайте их в течение разумного периода времени (по умолчанию я использую две недели, чтобы убедиться, что я учитываю еженедельные изменения или аномалии), и когда у вас будет достаточно данных, проанализируйте свои результаты, чтобы определить победителя.

На этом этапе также важно уделить некоторое время анализу проигравших — чему вы можете научиться из этих вариантов?

Наконец, и вы можете достичь этого этапа только после того, как потратите время на закладку фундамента для надежной программы оптимизации, пришло время заняться персонализацией. Это не обязательно требует причудливого набора инструментов, а скорее может исходить из данных, которые у вас есть о ваших пользователях.

Маркетинговая персонализация может быть такой же простой, как нацеливание нужного контента на нужные места, или сложной, как нацеливание на основе действий отдельных пользователей. Однако не прыгайте сразу на бит персонализации. Убедитесь, что вы потратили достаточно времени, чтобы сначала разобраться с основами.

Алекс Биркетт, HubSpot

На высоком уровне я стараюсь следовать этому процессу:

  • Собирайте данные и убедитесь, что реализация аналитики точна.
  • Анализируйте данные и находите идеи.
  • Превратите идеи в гипотезы.
  • Расставляйте приоритеты на основе воздействия и простоты и максимально распределяйте ресурсы (особенно технические ресурсы).
  • Запустите тест (следуя рекомендациям по статистике, насколько мне известно и возможно).
  • Анализируйте результаты и внедряйте или нет в соответствии с результатами.
  • Итерируйте на основе результатов и повторите.

Проще говоря: исследуйте, тестируйте, анализируйте, повторяйте.

Хотя этот процесс может отклоняться или меняться в зависимости от контекста (тестирую ли я критически важную для бизнеса функцию продукта? пост CTA в блоге? каковы профиль риска и баланс между инновациями и снижением риска?), он применим к любому размеру. или тип компании.

Дело в том, что этот процесс является гибким, но он также собирает достаточно данных, как качественных отзывов клиентов, так и количественной аналитики, чтобы иметь возможность предлагать лучшие идеи для тестирования и лучше расставлять приоритеты, чтобы вы могли привлечь трафик в свой интернет-магазин.

Тон Весселинг, онлайн-диалог

Первый вопрос, на который мы всегда отвечаем, когда хотим оптимизировать путь клиента: какое место этот продукт или услуга занимает в модели ROAR, которую мы создали в Online Dialogue? Вы все еще находитесь в фазе риска, когда мы могли бы провести множество исследований, но не можем проверить наши выводы с помощью онлайн-экспериментов A/B-тестирования (менее 1000 конверсий в месяц), или вы находитесь в фазе оптимизации? Или даже выше?

  • Фаза риска: множество исследований , которые будут переведены во что угодно, от поворота бизнес-модели до совершенно нового дизайна и ценностного предложения.
  • Фаза оптимизации: крупные эксперименты, направленные на оптимизацию ценностного предложения и бизнес-модели.
  • Фаза оптимизации: небольшие эксперименты для проверки гипотез о поведении пользователей, которые позволят накопить знания для более масштабных изменений дизайна.
  • Автоматизация : у вас все еще есть возможность экспериментировать (посетители), а это означает, что ваш полный тестовый потенциал не нужен для проверки вашего пути пользователя. То, что осталось, следует использовать для эксплуатации, чтобы расти быстрее сейчас (не фокусируясь на долгосрочном обучении). Это можно автоматизировать, запуская бандитов/используя алгоритмы.
  • Переосмыслите : вы перестаете добавлять много исследований, если только они не являются поворотным пунктом к чему-то новому.

РЕВ

Таким образом, A/B-тестирование веб-приложений или веб-приложений имеет большое значение только на этапе оптимизации ROAR и далее (пока не будет переосмыслено).

Наш подход к проведению экспериментов основан на модели FACT & ACT:

ФАКТ И ДЕЙСТВИЕ

Исследование, которое мы проводим, основано на нашей модели 5V:

Модель 5В

Мы собираем все эти идеи, чтобы выработать основную гипотезу, подкрепленную исследованиями, которая приведет к подгипотезам, приоритет которых будет определяться на основе данных, собранных с помощью A/B-тестирования на настольных или мобильных устройствах. Чем выше вероятность того, что гипотеза окажется верной, тем выше будет ее рейтинг.

Как только мы узнаем, верна наша гипотеза или нет, мы можем начать комбинировать полученные знания и предпринимать более масштабные шаги, изменяя/перестраивая более крупные части пути клиента. Однако в какой-то момент все выигрышные реализации приведут к локальному максимуму. Затем вам нужно сделать больший шаг, чтобы иметь возможность достичь потенциального глобального максимума.

И, конечно же, основные знания будут распространяться по всей компании, что приведет к всевозможным более широким оптимизациям и инновациям на основе ваших проверенных идей из первых рук.

Вы занимаетесь маркетингом для международной аудитории? Узнайте, как упростить этот процесс с помощью псевдолокализации.

Юлия Старостенко, Shopify

Цель эксперимента — подтвердить, что внесение изменений в существующую веб-страницу окажет положительное влияние на бизнес.

Прежде чем приступить к работе, важно определить, действительно ли необходимо проведение эксперимента. Рассмотрим следующий сценарий: есть кнопка с очень низким кликрейтом. Было бы почти невозможно уменьшить производительность этой кнопки. Таким образом, проверка эффективности предлагаемого изменения кнопки (т. е. проведение эксперимента) не требуется.

Точно так же, если предлагаемое изменение кнопки небольшое, вероятно, не стоит тратить время на настройку, выполнение и свертывание эксперимента. В этом случае нужно просто выкатить изменения на всех и следить за работой кнопки.

Если установлено, что проведение эксперимента действительно принесет пользу, следующим шагом будет определение бизнес-показателей, которые следует улучшить (например, увеличить коэффициент конверсии кнопки). Затем мы обеспечиваем надлежащий сбор данных.

Once this is complete, the audience is randomly run split testing between two groups; one group is shown the existing version of the button while the other group gets the new version. The conversion rate of each audience is monitored, and once statistical significance is reached, the results of the experiment are determined.

Пип Лайя, Институт CXL

A/B testing is a part of a bigger conversion optimization picture. In my opinion it's 80% about the research and only 20% about testing. Conversion research will help you determine what to test to begin with.

My process typically looks like this (a simplified summary):

  • Проведите исследование конверсий, используя такую ​​платформу, как ResearchXL, чтобы выявить проблемы на вашем сайте.
  • Выберите проблему с высоким приоритетом (тот, который затрагивает большую часть пользователей и является серьезной проблемой) и придумайте как можно больше решений этой проблемы. Информируйте свой процесс генерации идей с помощью результатов исследования конверсий. Определите, на каком устройстве вы хотите запустить тест (вам нужно запускать A/B-тестирование для мобильных устройств отдельно от рабочего стола).
  • Определите, сколько вариантов вы можете протестировать (в зависимости от вашего трафика/уровня транзакций), а затем выберите одну-две лучшие идеи для решения, чтобы протестировать его против контроля.
  • Создайте макет точной обработки (напишите копию, внесите изменения в дизайн и т. д.). В зависимости от объема изменений вам также может потребоваться привлечь дизайнера для разработки новых элементов.
  • Попросите вашего внешнего разработчика внедрить процедуры в ваш инструмент тестирования. Настройте необходимые интеграции (Google Analytics), поставьте соответствующие цели.
  • Проведите контроль качества теста (неудачные тесты, безусловно, являются самым большим убийцей A/B-тестирования), чтобы убедиться, что он работает с любой комбинацией браузера и устройства.
  • Запустите тест!
  • После завершения теста проведите посттестовый анализ.
  • В зависимости от результата либо внедрите победителя, повторите лечение, либо идите и протестируйте что-то еще.
Значок шаблона

Бесплатный вебинар:

Маркетинг 101

Пытаетесь увеличить продажи? Узнайте, как перейти от первого дня к первой продаже в этом бесплатном учебном курсе.

Зарегистрируйтесь сейчас

Оптимизируйте A/B-тестирование для вашего бизнеса

У вас есть процесс, у вас есть сила! Итак, выходите, приобретайте лучшее программное обеспечение для A/B-тестирования и начинайте тестировать свой магазин. Прежде чем вы это узнаете, эти идеи добавят больше денег в ваш банк.

Если вы хотите продолжить изучение оптимизации, подумайте о том, чтобы пройти бесплатный курс, например A/B-тестирование Udacity от Google. Вы можете узнать больше об A/B-тестировании веб-приложений и мобильных приложений, чтобы улучшить свои навыки оптимизации.