iOS15: A/B-тестирование страницы вашего продукта

Поскольку Apple объявила о ряде предстоящих изменений и улучшений в App Store, которые помогут разработчикам лучше ориентировать свои приложения на пользователей, сделать так, чтобы их приложения находили больше людей, и даже выделять, какие события происходят в их приложениях, чтобы привлечь новых пользователей к загружать приложения и побуждать существующих пользователей возвращаться. App Store позволит вам провести A/B-тестирование визуальных элементов страниц продукта вашего приложения, чтобы попытаться получить лучшие результаты и улучшить коэффициент конверсии загрузки приложения.

A/B-тестирование в App Store поможет вам улучшить вашу ASO-стратегию, вы сможете попробовать разные значки приложений, скриншоты и превью (видео) на страницах продуктов в App Store. Вы также сможете сравнить эффективность страниц продуктов, чтобы увидеть, какие из них конвертируются лучше всего.

Как использовать A/B-тест для новых функций iOS15?

Новая функция A/B-тестирования в App Store позволит вам протестировать до 3 различных элементов. Вы увидите результаты ключевых KPI ASO из раздела App Analytics в App Store Connect, такие как количество показов или коэффициенты конверсии. Вы сможете сравнить их с производительностью исходной страницы продукта.

Однако пользовательская страница продукта (CPP) не будет включать собственные A/B-тесты, но позволит командам мобильного маркетинга проводить тесты вручную. Напоминаем, что в соответствии с новой настройкой, если вы используете пользовательскую страницу продукта (CPP) и направляете весь платный трафик UA на одну из 35 доступных пользовательских страниц продукта, оставшаяся часть трафика, естественное завершение (трафик просмотра и поиска) попадет на вашу страницу продукта по умолчанию.

Чтобы узнать больше о росте мобильных устройств iOS15, ознакомьтесь с разделом « Как новые функции iOS15 стимулируют рост мобильных устройств? » в наших предыдущих статьях.

Нажмите « Узнать больше », чтобы развивать свой бизнес приложений и игр с помощью службы продвижения приложений ASO World прямо сейчас.

Оптимизация страницы продукта (PPO)

Разработчики скоро получат упрощенный способ тестирования изменений в своих наборах идей. Исторически разработчикам iOS приходилось полностью развертывать творческие изменения в iOS App Store, а затем измерять трафик до и после развертывания. Этот процесс не всегда обеспечивает наилучшее понимание, поскольку тенденции и трафик могут значительно меняться от периода до развертывания до периода после развертывания. Оптимизация страницы продукта позволит проводить A/B-тестирование в режиме реального времени непосредственно на странице продукта по умолчанию в приложении.

Используя оптимизацию страницы продукта, разработчики могут тестировать варианты значков приложений, скриншотов и видео для предварительного просмотра. Apple разрешит одновременное применение трех разных методов лечения с максимальной продолжительностью 90 дней для каждого теста.

Хотя может показаться заманчивым протестировать как можно больше изменений, Apple рекомендует ограничивать количество творческих изменений в тесте — это лучшая практика для любой итерации тестирования. Ограничивая переменные, легче определить, какие конкретные изменения приведут к наилучшему результату. Чтобы увидеть производительность и сравнить ее с базовым уровнем, разработчики могут получить доступ к этим тестам в App Analytics.

Пользовательская страница продукта (CPP)

Захватывающая новая функция для разработчиков iOS 15 — это настраиваемые страницы продуктов. Пользовательские страницы продуктов — это новый способ составления списков, чтобы они одновременно соответствовали разным демографическим группам. Этот новый инструмент позволит разработчикам показывать наиболее подходящее позиционирование для разных групп пользователей, указывающих на одно и то же приложение.

Apple позволит создать до 35 уникальных настраиваемых страниц продуктов, каждая из которых дает представление о различных функциях с помощью различных снимков экрана, предварительных просмотров приложений и рекламного текста. Затем разработчики могут направлять трафик на соответствующую страницу продукта, используя уникальные URL-адреса, которые будут размещены в релевантных объявлениях или сторонних отзывах.

Данные о производительности для пользовательских страниц продуктов также будут доступны в App Analytics. Целевой просмотр страницы предоставит полезные данные о показах, загрузках приложений, коэффициенте конверсии установки приложения и уровне удержания.

Аналитика приложений

В дополнение к предоставлению разработчикам дополнительных инструментов для оптимизации их производительности, новые метрики позволят им понять производительность способами, которые раньше не могли предоставить App Analytics. В отличие от Google, который меняет многие свои отчетные показатели с новой консолью разработчика Google Play в 2020 году, Apple сохранит знакомые показатели, такие как количество показов и единиц приложения, добавляя новые.

Разработчики теперь будут иметь специальную панель для предварительного заказа, разделенную знакомыми показателями, такими как территория и тип устройства — тип устройства теперь включает macOS для совместимых приложений. На вкладке показателей предварительные заказы можно просмотреть на линейном графике с течением времени, чтобы увидеть вовлеченность в начале предварительного заказа, вплоть до дня, предшествующего выпуску.

Доход — еще одна новая метрика, которую разработчики могут просматривать с помощью App Analytics, а также «Продажи» и «Покупки в приложении». Дальнейшее понимание того, как приложения зарабатывают прибыль, может помочь разработчикам лучше понять, как оптимизировать их, чтобы увеличить количество покупок.

Apple также добавит «Обновления» и «Повторные загрузки» в App Analytics, которые ранее не учитывались. Это позволит разработчикам просматривать не только первые загрузки через «App Units», но и общее количество загрузок и иметь возможность различать новых и вернувшихся пользователей. Разработчики в конечном итоге получат представление не только о вовлечении новых пользователей, но и о текущем вовлечении существующих пользователей за счет обновлений и повторных загрузок существующих пользователей.

Чтобы узнать больше о стратегии вовлечения пользователей, вы можете проверить « Как стратегия вовлечения мобильных пользователей влияет на ваш бизнес приложений ?» из наших предыдущих статей.

A/B-тестирование: iOS15 и Play Store

С мая 2015 года Google Play Store позволяет разработчикам проводить A/B-тестирование с помощью Google Play Experiments, предоставляя разработчикам ценный инструмент для разработки стратегии оптимизации магазина приложений. Скоро будет доступно A/B-тестирование на iOS15, так что разработчикам iOS больше не нужно развертывать новые версии и сравнивать метрики «до» и «после», чтобы измерить, как изменения страниц продукта влияют на коэффициент конверсии страниц продукта.

Однако, каким бы захватывающим это ни казалось, платформа Apple для A/B-тестирования не будет идентична платформе Google. Связанные с этим неопределенности могут легко привести к множеству потенциальных осложнений. Важно решать их заранее и планировать соответственно заранее. Техническая команда ASOWorld ожидает 7 фундаментальных отличий ниже, чтобы вы подготовились.

1. Доступность данных

A/B-тестирование — это количественный метод исследования. Это означает, что статистика, стоящая за каждым тестом, является его жизненной силой. Если вы соберете и проанализируете достаточно данных, вы получите надежные результаты тестов, чтобы научно подтвердить или отвергнуть определенные гипотезы. Идеи, лежащие в основе этих гипотез, в конечном счете определяют CRO. Вот почему вся CRO изменится, когда A/B-тестирование в App Store будет иметь другой объем и форму данных по сравнению с Play Store.

Вот самые важные отличия, о которых вы должны знать.

• Статистическая значимость

Google обеспечивает уровень статистической значимости результатов теста 90%, в то время как остается загадкой, предоставит ли Apple что-либо сопоставимое. На самом деле неизвестно, предоставят ли они какие-либо доверительные интервалы, поскольку в их объявлении эта тема не упоминается (пока).

• История производительности

Google показывает диаграмму, которая постоянно отображает тайм-аут выполнения каждого варианта теста. При необходимости вы можете просмотреть прошлые показатели для получения более подробных сведений.

У Apple, с другой стороны, нет доказательств того, что они предлагают аналогичную функцию. Они только упоминают, что вы можете «сравнивать производительность [тестовых вариантов] с исходной страницей продукта на протяжении всего теста». Применимо ли это сравнение к текущей и прошлой производительности, еще предстоит определить.

• Полнота данных о производительности

Google показывает только разницу в количестве установок, масштабированных установках и коэффициенте конверсии (CVR) между тестовыми вариантами. Поэтому вы можете только оценить, насколько хорошо или плохо они сравниваются друг с другом. Вместо этого Apple отображает объем трафика (показы) и точный CVR для каждого варианта поверх различий CVR (улучшений). Это означает, что вы должны исследовать отдельные версии или сравнивать их между собой.

2. Выбор актива

В Google Play все локализуемые ресурсы, кроме названия/названия приложения, подходят для A/B-тестирования. Что еще более важно, они включают в себя визуальные и текстовые элементы. Это обеспечивает достаточную мощность для чрезвычайно универсальной стратегии CRO.

Напротив, только визуальные ресурсы в App Store были определены как подходящие для A/B-тестирования. Это значок, скриншоты и предварительный просмотр (видео). Никакой дополнительной информации о текстовых активах предоставлено не было.

Однако, глядя на различные активы, разрешенные в Оптимизации страницы продукта и Пользовательских страницах продукта, их может и не быть. В частности, Apple упоминает рекламный текст, связанный с последним, но не с первым. Вот факторы, которые следует учитывать для этого факта.

• Apple рассмотрела текстовые активы и решила разрешить пользовательский рекламный текст. Вряд ли о них забыли при разработке или выпуске функций iOS 15. Это одно из доказательств того, что Apple намеренно игнорировала A/B-тестирование текстовых ресурсов.

• Apple анонсировала две страницы продуктов, оптимизированные и адаптированные для страниц продуктов, в том же разделе на WWDC21, после WWDC21 и на своем веб-сайте. Однако рекламный текст указан специально для второй функции. Это еще одно свидетельство того, что Apple намеренно исключила текстовые ресурсы из A/B-тестирования.

• Итак, есть как минимум два доказательства того, что Apple не позволит нам тестировать текстовые активы — по крайней мере, не сразу с iOS 15.

Конечно, это еще не подтверждено. Однако, если вы сомневаетесь, безопаснее всего подготовиться к худшему сценарию. Если это окажется правдой, у вас будет гораздо более узкий выбор ресурсов для A/B-тестирования в App Store по сравнению с Play Store.

3. Настраиваемость

Это также относится к взаимосвязи между наличием пользовательского магазина приложений и A/B-тестированием: хотя вы, безусловно, можете проводить эксперименты с пользовательскими списками в Play Store, по-прежнему остается проблемой, верно ли то же самое на страницах пользовательских продуктов. Если это так, возможности iOS CRO будут значительно расширены, например, с использованием чего-то вроде «индивидуальной оптимизации страницы продукта» — но это большое «если».

На самом деле, некоторые данные могут свидетельствовать о том, что это маловероятно. Как упоминалось ранее, рекламный текст демонстрирует разрыв между пользовательскими страницами продукта и оптимизацией страницы продукта, поскольку он может быть настроен, но не протестирован A/B. Еще одним доказательством является значок приложения, который можно протестировать, но нельзя настроить. Поэтому, если бы A/B-тестирование можно было проводить на пользовательских страницах продуктов, магазин приложений стал бы невыносимо непоследовательным.

Вот в чем проблема: не похоже, чтобы Apple это разрешала. Это означает, что они просто не допускают пересечения двух функций. Таким образом, можно с уверенностью сказать, что мы не можем ожидать A/B-тестирования пользовательских страниц продукта.

Хотя рекламный текст и значки являются разницей между двумя функциями, они сочетаются друг с другом на скриншотах и ​​превью. Если повезет, Apple позволит нам протестировать один из этих двух ресурсов или оба на пользовательской странице продукта. Как бы неправдоподобно ни звучал этот сценарий, он все еще остается логической возможностью, которую не следует преждевременно отбрасывать.

4. Тестирование иконок

Значок — это важный визуальный элемент приложения, выражающий его индивидуальность. Во всяком случае, это должно быть постоянным активом в магазинах приложений. К сожалению, это не случай.
Во-первых, вы можете загружать новые иконки для тестирования только в Google Play, но не в App Store. Apple потребует, чтобы все варианты значка (на устройстве и в магазине) были заранее добавлены в двоичный файл приложения и проверены с новой версией приложения. Поэтому, если они будут отклонены или отложены, это повлияет на A/B-тестирование.

Во-вторых, опять же в связи с требованиями к бинарным файлам приложений, в то время как Google допускает независимые изменения между активами на устройстве и в магазине, Apple обеспечит некоторый уровень зависимости значков между ними. В частности, если вы примените вариант значка App Store с помощью оптимизации страницы продукта, соответствующий вариант значка на устройстве автоматически заменит исходный значок.

5. Масштабируемость

Локализация — важная часть ASO, особенно для CRO, поэтому крайне важно иметь возможность запускать A/B-тесты на локализованных страницах продукта. Самое главное, чем больше тестов локализации вы можете запустить одновременно, тем эффективнее вы будете масштабировать общую CRO.

В Google Play разрешено до пяти таких тестов (не считая пользовательских сведений о продукте). В Apple App Store номер неизвестен. Если он одинаков, вы можете одинаково масштабировать CRO в обоих магазинах, поэтому особых настроек не потребуется. Напротив, если в одном магазине одновременно может выполняться значительно больше тестов, чем в другом, вам нужно будет планировать заранее и учитывать различия между ними, чтобы принять взвешенное решение.

Почему это важно? Два фактора.

В стандартном ASO

Если вы сможете обновить CRO для своего магазина приложений, вы сможете быстро узнать, что работает, а что нет. Чем больше вы узнаете, тем более взвешенными будут ваши решения. Вот почему разная масштабируемость может привести к разным уровням производительности CRO. В конечном счете, производство активов, человеческие ресурсы, время и усилия будут иметь разную ценность в разных магазинах приложений. Затем ими следует управлять по-разному.

В необычных ASO, таких как сезонные события или особые случаи, такие как пандемии COVID-19.

Представьте, что у вас есть 3 месяца на то, чтобы протестировать 10 локализаций всех активов, прежде чем запускать критическую и актуальную кампанию. Для одной и той же идеи или гипотезы вам потребуется два раунда из 5 экспериментов по локализации в Play Store, чтобы охватить весь контент. Если каждый раунд требует три недели для получения статистически значимых результатов, то вам потребуется 1,5 месяца, чтобы завершить полную серию.

Это означает, что за три месяца можно будет протестировать две идеи перед выпуском. Если Apple позволяет проводить одновременно менее пяти тестов в одних и тех же условиях, то 10 локализаций за три месяца — это слишком много. Вам нужно либо тестировать меньше идей, либо меньше локализаций, либо больше времени.

6. Гибкость настройки

Степень гибкости, которую вы имеете при настройке A/B-тестов, также будет варьироваться от одного магазина приложений к другому. На самом деле разница будет вызвана двумя факторами.

Отдельные активы

В то время как Google разрешает A/B-тестирование визуальных и текстовых ресурсов, Apple позволяет тестировать только первые. Это означает, что даже если вы можете превратить идею, концепцию, сообщение или гипотезу в привлекательную копию, вы не можете использовать ее в качестве теста. Это вдвое меньше гибкости, чем в Google Play.

Комбинации активов

Тестовые настройки в Google Play могут стать более гибкими, если объединить несколько ресурсов. В частности, у вас могут быть эксперименты с комбинацией текст-текст, визуально-визуальное или визуально-текстовое сочетание. В App Store также можно комбинировать несколько ресурсов в тесте (иначе Apple не предложила бы их ограничивать). Но лучшее, что вы можете сделать, это ставить только визуально-визуальные комбо-эксперименты.

Итак, что мы делаем, когда мы не настолько гибки? Добавьте глубины. Отказ от использования текстовых ресурсов для тестирования означает больше тестирования с использованием визуальных ресурсов.

Чтобы узнать больше о пользовательских страницах продуктов iOS15, вы можете прочитать « Как подготовить пользовательские страницы продуктов (CPP) в App Store для iOS 15 ASO? » в наших предыдущих статьях.

7. Свобода творчества

A/B-тестирование включает в себя не только технические факторы, влияющие на CRO. Помимо дизайна, настройки и предположений теста, он также должен охватывать творческие идеи, концепции и истории. Это то, что превращается в материальные активы магазина приложений, которые вы должны загрузить, прежде чем можно будет запускать какие-либо тесты. Поэтому важно иметь достаточную творческую свободу, позволяющую тестировать смелые и инновационные идеи и, в свою очередь, способствовать улучшению CVR.

Конечно, Apple и Google допускают разную степень этой творческой свободы. В Play Store тестовые активы никогда не подвергаются проверке Google. Все политики и рекомендации по метаданным применяются к сведениям о продукте, а не к экспериментам с описанием продукта. Таким образом, можно с уверенностью сказать, что пока вы не применяете «рискованный» вариант, вы можете без ограничений тестировать почти все с любым квалифицированным активом.

Как настроить A/B тест в App Store

Обучение важнее, чем тестирование

В App Store невозможно разделить историю и рассказывание историй. Согласно заявлению Apple, все отдельные варианты тестов будут рассмотрены независимо друг от друга. Если вы протестируете с ними смелую и смелую, но рискованную идею, а они будут отвергнуты, вы никогда не узнаете, сработала ли эта идея. Вы будете знать только, что реализации не было. Кроме того, график испытаний будет отложен. Вот почему вам приходится сталкиваться с меньшей творческой свободой в A/B-тестировании в App Store по сравнению с Play Store.

Ваша стратегия CRO должна быть более консервативной в App Store и более агрессивной в Play Store. Это означает:

• Изучение смелых идей на Android и их интеграция на iOS

Эксперименты с деталями товаров должны быть испытательным полигоном для смелых и рискованных идей, потому что они обеспечивают более высокую степень творческой свободы. Со временем вы можете относительно указать, какие из них хороши для CRO. Затем вы можете перейти к тестированию и изучению доступных методов публичного представления таких идей — в зависимости от того, какой метод Google позволяет вам использовать.

Затем это обучение можно закрепить с помощью оптимизации страницы продукта. Если вы обнаружите, что Google поддерживает итерацию активов, учитывая аналогичные принципы и политику, Apple, скорее всего, также примет это. Так вы можете тестировать смелые идеи в App Store с минимальным риском отказа.

• Проведение тестов на iOS шаг за шагом от безопасных до смелых идей

Пока вы ожидаете, что A/B-тесты в Play Store станут «лидерами», A/B-тесты в App Store можно запускать независимо, чтобы «найти путь». . CRO займет больше времени, но, по крайней мере, вы не застрянете в ожидании результатов тестирования Android или не будете введены в заблуждение непроверенными предположениями.

Ключи, которые следует помнить при проведении A/B-тестирования

Распределение аудитории между текущей версией и вариантами. Принимая решение о доле трафика, которую следует выделить каждому варианту, имейте в виду текущий коэффициент конверсии, гипотезу, которую нужно проверить, задействованные элементы и статистическую значимость (в настоящее время 90% в экспериментах Google Play).

Разделите продолжительность теста. Позвольте тесту работать не менее 7 дней, чтобы избежать сезонных всплесков, которые могут повлиять на ваши результаты. Тесты следует проводить до тех пор, пока значительная потенциальная аудитория не войдет во все варианты теста.

Минимальная установка для каждого варианта. Чтобы получить важные данные о результатах производительности а/б-тестов, нужно обратить внимание на необходимое количество установок. Это сильно коррелирует с ежедневной скоростью установки приложения.

Тестовая локализация . Настоятельно рекомендуется локализовать ваши сплит-тесты в конкретной стране. Мировые/глобальные эксперименты могут ввести в заблуждение, поскольку творческие способности каждой страны различны.

Закрытые изменения могут не привести к большому обучению. Тем не менее, все элементы вашей идеи должны быть проверены, чтобы постоянно улучшать вашу страницу в магазине.

Резюме

Это лишь некоторые из новых функций и возможностей, анонсированных на WWDC21. Исторически A/B-тестирование в iOS App Store было более сложной задачей, чем экспериментальные возможности Google Play — эти новые инструменты станут теми улучшениями, которых ждали разработчики iOS.

Данные о производительности, доступные из App Analytics, из оптимизации страниц продуктов и пользовательских страниц продуктов, а также аналитика пользователей и данные о действиях, предоставят разработчикам информацию, необходимую им для дальнейшего роста.

Мы тестируем, чтобы узнать, какие идеи могут улучшить CVR, а затем узнаем, как реализовать эти идеи, не нарушая политики. Как мы упоминали выше, вы можете заранее спланировать модель A/B-тестирования iOS15.