Руководство по A/B-тестированию

Маркетинг существует уже довольно давно, но за последние пару десятилетий он полностью изменился. Здесь гораздо меньше работы по догадкам, и мы можем гораздо легче определить, какие маркетинговые тактики успешны, а какие проваливаются.

В наши дни каждая маркетинговая операция должна уметь соотносить свои усилия с результатами. Это означает большую ответственность маркетинговых команд. Создано недостаточно лидов? У нас проблема. Список контактов слишком мал? Проблема.

Хорошая новость заключается в том, что хотя маркетологи стали более ответственными, теперь у них есть более эффективные способы измерения того, какие тактики они используют, а какие нет. В прошлом ответ на вопрос «Почему мы не генерируем достаточно лидов?» может быть, «Я действительно не знаю». Теперь часто можно точно определить причину тусклых результатов.

Одним из способов оптимизации своей работы для маркетологов является A/B-тестирование.

Что такое A/B-тестирование: общий обзор

A/B-тестирование — это простая концепция. Иногда это называется «раздельным тестированием». Это практика выпуска двух версий пользовательского интерфейса — например, веб-страницы или дизайна продукта — чтобы увидеть, какая из них работает лучше.

Половина населения увидит одну версию, а другая половина увидит другую. Затем вы можете использовать данные всех этих посещений, чтобы определить, какая версия вашего пользовательского интерфейса работает лучше.

Что тестировать

Одной из сложных частей при проведении A/B-тестирования является определение того, что вы должны тестировать. Есть множество интерфейсов, которые вы можете протестировать, и внутри этих интерфейсов есть бесчисленное множество вариантов, которые вы можете попробовать. Итак, когда вы начинаете, что вы тестируете?

Установите цели

Чтобы убедиться, что вы тестируете что-то стоящее, вам нужно выяснить, чего вы хотите достичь с помощью сплит-тестов. Прежде чем что-либо тестировать, вы должны ответить на вопрос: «Почему мы тестируем именно этот компонент, а не другой?»

Таким образом, ваши тесты должны быть вдохновлены высокоуровневыми целями вашей организации. Если вы маркетолог и хотите создать списки контактов вашей компании, протестируйте различные версии формы регистрации по электронной почте. Создание надежного списка контактов соответствует более высокой цели маркетинга — привлечению высококвалифицированных лидов.

Крайне важно, чтобы за вашими тестами стояло какое-то твердое число для оценки. Если вы проводите тест, а затем основываете свое решение на личных предпочтениях, вы делаете что-то не так. Результаты вашего теста должны быть подкреплены достоверными данными и, принимая во внимание более чем незначительные различия, должны сделать большую часть принятия решений за вас.

Эта таблица из книги Дэна Сирокера и Пита Кумена « A/B Testing: The Most Powerful Way to Turn Clicks to Customers » служит хорошим руководством для определения ваших целей в зависимости от типа вашего сайта.

Как расставить приоритеты

Вы можете подумать: «У нас так много целей, что вы не сильно их сузили». Это верное замечание.

Разумно расставить приоритеты на основе рентабельности инвестиций. Тестирование факторов с высокой рентабельностью, очевидно, обеспечит вам максимальную отдачу от тестирования и послужит основанием для дальнейшего тестирования других факторов.

Например, если вы ведете блог, двумя показателями успеха могут быть общее количество просмотров страниц и подписка на бесплатную пробную версию. Теперь просмотры страниц — это здорово, но нет прямой окупаемости инвестиций от увеличения количества просмотров страниц (если только вы не размещаете рекламу в своем блоге или не являетесь представителем продуктов).

Существует более прямая связь с доходом от пробных подписок, чем от просмотров страниц. Таким образом, успешное тестирование пробной кнопки будет более ценным, чем успешное тестирование, скажем, различных вариантов заголовка сообщения в блоге.

Сначала вы захотите провести более эффективный тест не только потому, что он лучше всего подходит для вашего бизнеса, но и потому, что вы можете использовать этот тест в качестве подтверждения концепции, если в вашей организации есть люди, которые сомневаются в ценности A/B. тестирование.

Избегайте синдрома HiPPO

Крайне важно, чтобы вы определили свои цели и расставили их по приоритетам, прежде чем приступить к работе. Причина в том, что люди на самом деле не знают, какой дизайн будет эффективным, и если у вас нет установленных целей, вы рискуете стать слишком субъективным в процессе принятия решений.

Термин HiPPO означает: мнение самого высокооплачиваемого человека. И как организация, вы должны быть очень осторожны с этим. Организации, которым не хватает объективности в тестировании, часто по умолчанию используют HiPPO, что не является хорошей стратегией.

Однако, если перед началом у вас есть четкие цели, основанные на жестких показателях, вам будет намного легче оставаться объективным. Кому-либо, независимо от того, сколько денег он зарабатывает, трудно опровергнуть четкие цифры (хотя я уверен, что кто-нибудь может рассказать мне историю об этом боссе).

Принципы A/B-тестирования

Избегайте уточнения слишком рано

При A/B-тестировании вы, в конце концов, дойдете до усовершенствования дизайна до самого лучшего варианта, но вам нужно убедиться, что вы не делаете это слишком рано. Вместо того, чтобы улучшать то, что у вас уже есть, когда вы приступите к работе, мыслите масштабно и экспериментируйте с широким спектром идей.

Допустим, у вас есть веб-страница, выложенная в одну сторону. Если бы вы начали с его уточнения, то в конечном итоге получили бы наилучшую версию этого макета. Хорошо право? Неправильно.

Существует явная вероятность того, что макет страницы, даже в лучшем виде, не имел потенциала для другой версии этой страницы с совершенно другим макетом .

Когда Исаак Ньютон был ребенком, он участвовал в рыцарских турнирах. Представьте, если бы он провел всю свою жизнь, совершенствуя свои рыцарские способности, никогда не пробуя себя в других видах деятельности. Возможно, со временем он стал бы довольно хорошим рыцарем, может быть, даже великим.

К счастью, он не провел всю свою жизнь с головой в книге рыцарских турниров. Вместо этого он пробовал совершенно разные занятия, такие как математика, и стал известен как один из величайших умов, которые когда-либо жили.

Ладно, я не знаю, дрался ли когда-нибудь Ньютон. Я выдумал эту часть, но чтобы проиллюстрировать мысль: если вы начнете совершенствоваться слишком рано, вы можете упустить вариант с высоким потенциалом, потому что вы не потратили достаточно времени, пробуя радикально разные вещи в начале.

Не всегда о дополнении

Придумывая различные варианты для тестирования, у вас может возникнуть соблазн добавлять, добавлять, добавлять. Это не всегда лучшая идея. Простота имеет большое значение, и, делая дополнения, вы можете просто создать сложность.

Если вы придумываете вариации, подумайте: «Что я могу вычесть из оригинала?» прежде чем вы перейдете к вопросу «что я могу добавить?»

В книге «Тестирование A/B: самый эффективный способ превратить клики в клиентов » Сирокер и Кумен описывают пример, прекрасно иллюстрирующий эту концепцию. Они рассказывают историю теста, проведенного Cost Plus World Market, в котором ритейлер скрыл поля формы промокода и вариантов доставки с последней страницы воронки оформления заказа. Скрыв эти поля и превратив их в расширяемые ссылки, они увеличили доход на одного посетителя на 15,6%. Конверсия также выросла на 5,2%. Это какие-то большие цифры.

Вот изображение теста, включенного в книгу. Удивительно, как небольшое изменение может иметь такой эффект.

Неудача — это не всегда плохо

Когда вы проводите сплит-тестирование, каждый сбой должен вас о чем-то информировать. С розовыми очками вы можете подумать, что каждое изменение приведет к хорошему результату. Правда в том, что многие из них этого не делают. Когда их нет, вам не следует собирать чемоданы и отправляться домой, а лучше копаться в них и искать ответы.

Допустим, вы запускаете тест, изменяя домашнюю страницу своего веб-сайта. Ваша основная цель с этим изменением – повысить количество конверсий от новых посетителей. Вам не потребуется много времени, чтобы увидеть, что предлагаемое изменение не работает. Конверсии на новой главной странице падают.

Однако, немного покопавшись, вы обнаружите, что вернувшиеся посетители остаются на вашем сайте дольше. Что-то в новом интерфейсе имеет такой эффект.

Теперь вы узнали, что новые посетители и новые пользователи по-разному взаимодействуют с вашим сайтом, и у вас есть инструменты, позволяющие максимально эффективно использовать оба сегмента. Конечно, эта проверка не принесла желаемых результатов, но не бесплодна.

Тем не менее, не все тесты дадут такую ​​очевидную серебряную подкладку. Скажем, покопавшись, вы ничего не нашли о новом рабочем дизайне. Возможно, вам придется полностью отказаться от нового дизайна, но используйте этот опыт как оправдание для дальнейшего тестирования.

И, когда вы проводите дальнейшее тестирование, используйте прошлые результаты для информирования этих тестов. Вы всегда можете использовать уроки, извлеченные из предыдущих тестов, для создания гипотез для будущих тестов.

Без преимущества тестирования ваша организация могла бы сделать переход, не зная, каковы будут результаты. Это было бы убийственно для бизнеса.

Как проводить A/B-тестирование

Итак, вы знаете некоторые правила сплит-тестирования, и у вас есть план тестирования.

Но как насчет логистики? Как вы на самом деле это делаете?

Ну, есть несколько способов. Вы можете создать свой собственный инструмент, приобрести его у поставщика программного обеспечения или нанять агентство, которое позаботится обо всем за вас.

Давайте рассмотрим эти три варианта и посмотрим, какой из них лучше для вас.

Создайте свой собственный

Правда в том, что тут я ничем не могу помочь. Создание собственного инструмента A/B-тестирования — это сложная инженерная задача. Итак, если вы рассматриваете этот вариант, вот первый шаг: обратитесь к своему начальнику отдела разработки и спросите, насколько правдоподобно создание инструмента A/B-тестирования у себя.

У вас нет команды инженеров? Тогда мы закончили здесь. Либо купить инструмент, либо нанять агентство.

Купить инструмент

У вас нет недостатка в инструментах для A/B-тестирования, доступных для покупки. Эти инструменты будут различаться по удобству использования, но даже если вы не гений, вы, вероятно, сможете найти что-то достаточно простое в использовании.

Есть два основных вопроса, которые вы должны задать себе перед покупкой инструмента.

Хорошо ли он работает с программным обеспечением, которое вы уже используете?

Вы должны убедиться, что приобретаемый вами инструмент интегрируется с вашей системой управления контентом, любыми другими используемыми вами аналитическими инструментами, вашей платформой электронной коммерции и вообще со всем, что, по вашему мнению, может иметь значение.

Инструмент A/B-тестирования не является самостоятельным, поэтому изучите его, прежде чем принимать решение.

Вписывается ли он в ваш бюджет?

Это вроде очевидно, но это нужно спросить. Инструменты будут различаться по своей стоимости, поэтому вам нужно убедиться, что тот, который вы получаете, стоит того. Точно так же, как вы расставляете приоритеты для тестирования с точки зрения рентабельности инвестиций, это решение также должно основываться на рентабельности инвестиций. Учитывая предлагаемые функции, их реализацию и стоимость инструмента, перевесит ли выгода затраты?

Кстати, вы будете удивлены, как мало это стоит. Нетрудно получить в свои руки инструмент с функциональностью A/B-тестирования по низкой цене. Мы предлагаем сплит-тестирование в кампаниях по электронной почте, которое невероятно просто в использовании.

Нанять агентство

Вероятно, это самый простой способ провести сплит-тестирование, но он также сопряжен с риском. Когда вы нанимаете кого-то, чтобы взять бразды правления в свои руки, вы в той или иной степени отдаете их. Вам нужно будет задать себе те же вопросы о бюджете, что и при покупке инструмента, но этот метод также означает задавать много вопросов о поставщике, которого вы планируете нанять.

Вот несколько хороших вопросов, которые следует задать перед принятием решения:

• Насколько вы будете контролировать процесс?
• Каков послужной список агентства?
• Есть ли у них доказательства успеха прошлых проектов по оптимизации конверсии?
• Какую отчетность и аналитику они предоставляют после завершения теста?

Коммуникация

Это может быть не указано в разделе «логистика», но общение имеет решающее значение при сплит-тестировании по двум причинам.

Причина № 1: это помогает вам быть организованным

В зависимости от размера вашей организации вы можете тестировать несколько вещей одновременно. И вполне возможно, что некоторые из этих вещей могут влиять друг на друга.

Например, допустим, вы тестируете форму подписки по электронной почте на своей домашней странице, а также тестируете другое метаописание для своей домашней страницы. Вы можете увидеть увеличение количества подписок по электронной почте, но это может быть результатом новой формы или увеличения количества кликов по мета-описанию.

Лучший способ решить эту проблему — назначить руководителя тестирования. В обязанности этого человека входит контроль и управление всем тестированием, которое вы проводите для своего сайта. Это не только предотвращает потенциальное влияние нескольких тестов друг на друга, но и дает вашей организации возможность обращаться к специалисту по любым вопросам, связанным с тестированием.

Причина № 2: разъясняет ценность тестирования

Некоторые организации не на 100 % заинтересованы в тестировании. Без сомнения, в этом есть ценность, но кто-то, кто не знает, может счесть это ненужным. Четко сообщая результаты своих тестов, вы можете подтвердить их ценность точными цифрами.

Возможно, вы не сможете убедить кого-то в вашей организации создать страницу несколько раз, но нет никаких аргументов против лучших результатов.

Никогда не прекращайте тестирование

Скорее всего, вы никогда не найдете наилучшего возможного результата. Есть бесчисленное множество вещей, которые вы можете протестировать, и почти во всех случаях что-то можно улучшить.

В таком случае важно понимать, что A/B-тестирование — это бесконечное путешествие. Что-то, что отлично работало в один год, может привести к уменьшению прибыли в следующем году.

Итак, разработайте долгосрочный план тестирования, который поможет вашему бизнесу увидеть постоянные результаты. Как сказал бы мой школьный тренер по баскетболу: «Самая большая комната в мире — это комната для совершенствования».