모바일 A/B 테스팅: 피해야 할 7가지 큰 오류와 오해

전반적인 마케팅이 데이터에 크게 의존한다는 것은 비밀이 아닙니다. 모바일 마케팅 및 사용자 확보에도 동일하게 적용됩니다. 이 영역에서 App Store와 Google Play에 적합한 제품 페이지 요소를 선택하는 것은 앱이나 모바일 게임의 성공에 결정적인 차이를 만들 수 있습니다. 모바일 A/B 테스팅은 데이터를 기반으로 선택을 하는 데 도움이 되는 도구입니다.

그러나 A/B 테스트가 원하는 결과를 가져오지 못한다거나 모바일 실험을 제대로 실행하고 있는지 확신이 서지 않는다는 주장을 얼마나 많이 들어왔습니까? 이것은 종종 몇 가지 일반적인 실수와 데이터의 잘못된 해석으로 인해 발생합니다. 이 게시물에서는 모바일 앱 A/B 테스트에서 가장 큰 실수와 오해의 소지가 있는 결론에 대해 다루겠습니다. 이에 대한 지식은 성공을 달성하는 데 도움이 됩니다.

1. 적절한 양의 트래픽이 발생하기 전에 실험을 완료합니다.

이것은 모바일 A/B 테스트에서 가장 흔한 실수 중 하나입니다. 기존 A/B 테스트를 고수 하는 경우 필요한 트래픽 양( 샘플 크기) 을 얻기 전에 실험을 완료 하면 통계적으로 신뢰할 수 없는 결과를 얻을 위험이 있습니다 .

신뢰할 수 있는 증거를 얻으려면 A 및 B 변형 모두에 대해 필요한 트래픽 양에 도달할 때까지 기다려야 합니다.

고전적인 옵션에 대한 대안을 찾고 있다면 순차적 A/B 테스팅에 의지하십시오. 당신은 기본 전환율 (현재 변화의 전환율), 통계 전력 (기본적으로 80 %), 유의 수준 및 감지 할 수있는 최소 효과 (MDE)을 지정하여 시작해야합니다 -이 샘플 크기를 결정하는 데 도움이됩니다.

유의 수준은 기본적으로 5%이며 이는 오류 마진이 5%를 초과하지 않음을 의미합니다. MDE 와 함께 이 값을 사용자 정의할 수 있습니다. 즉, 보고자 하는 최소 예상 전환율 증가 입니다. 참고: 실험을 시작한 후에는 유의 수준, MDE 또는 통계적 검정력을 변경하지 마십시오.

순차적 A/B 테스트를 통해 알고리즘은 실험이 완료될 때까지 남아 있는 트래픽 양과 유의 수준의 변화를 지속적으로 확인합니다. 이것이 SplitMetrics A/B 테스트 플랫폼에서 작동하는 방식입니다.

교훈: 기존 A/B 테스트를 실행하는 경우 적절한 양의 트래픽에 도달할 때까지 실험을 완료하지 마십시오. 아니면 순차적으로 A/B 테스팅을 해보면 그 결과를 언제든지 확인할 수 있을 것입니다.

2. 7일이 지나기 전에 실험을 끝내는 것

왜 최소 7일을 기다려야 합니까? 다양한 앱과 모바일 게임은 주중 다른 요일에 최대 활동을 경험합니다 . 예를 들어, 비즈니스 앱은 월요일에 폭발적인 활동을 보는 반면 게임은 주말에 사용자에게 가장 인기가 있습니다.

모바일 A/B 테스트 실험에서 신뢰할 수 있는 결과를 얻으려면 실험 중에 앱이 가장 많이 사용되는 날을 캡처해야 합니다. 그렇지 않으면 성급히 결론을 내릴 위험이 있습니다.

예를 들어 작업 관리 앱에 대한 테스트를 실행합니다. 수요일에 실험을 시작하고 토요일에 끝냅니다. 그러나 대부분의 대상 고객은 월요일에 앱을 사용하므로 실험 기간에 활동이 급증하지 않았기 때문에 요점을 놓칠 것입니다. 또는 그 반대의 경우도 마찬가지입니다. 게임이 성수기인 금요일부터 일요일까지 레이싱 게임에 대한 A/B 테스트를 실행했습니다. 이 경우 결과도 불충분합니다.

따라서 첫 번째 실수를 피하고 이미 첫날에 필요한 양의 트래픽을 확보했더라도 7일이 지날 때까지 실험을 중단하지 마십시오.

교훈: 각 모바일 게임 또는 앱마다 활동의 피크가 약하기 때문에 전체(7일) 주기가 지나기 전에 실험을 완료하지 마십시오.

3. 너무 작은 디자인 변경 테스트

모바일 A/B 테스트의 또 다른 일반적인 실수는 디자인의 사소한 차이로 인해 거의 동일하게 보이는 변형을 비교하는 것입니다.

테스트 중인 모바일 앱 아이콘의 유일한 차이점이 하늘색이 아닌 파란색 배경색이거나 다른 스크린샷 변형에 작은 세부 사항을 추가했다면 확실히 문제가 있는 것입니다. 사용자는 그러한 작은 변화를 알아차리지 못합니다.

이 경우 두 변형 모두 동일한 결과를 표시하며 이는 지극히 정상입니다. 따라서 앱 스토어 A/B 테스트를 실행하려고 시도했지만 변형이 동일하게 수행되었기 때문에 포기했다면 무엇이 잘못되었는지 반성할 때입니다. 변형이 거의 비슷해 보였을 수도 있습니다.

중요한 변경 사항을 A/B 테스트하고 있는지 확인하려면 두 버전을 모두 가족이나 친구에게 보여주세요. 동료에게 3-5초 동안 각 변형을 보도록 하세요. 차이점을 모르는 경우 시각적 자산을 다시 디자인하는 것이 좋습니다.

교훈: 디자인을 너무 작게 변경하여 변형을 테스트하는 경우 동일한 결과가 표시될 것으로 예상해야 합니다. 이러한 변경 사항은 사용자에게 너무 미미하므로 앱 아이콘과 스크린샷이 확연히 다른 테스트를 해보는 것이 좋습니다.

4. 배너 광고는 앱 스토어 시각적 자산 중 하나와 동일한 디자인을 가지고 있습니다.

예를 들어 SplitMetrics와 같은 타사 모바일 A/B 테스트 도구를 사용하는 경우 트래픽을 구매하고 광고 네트워크에 배너를 배치합니다. 요점은 이러한 배너가 스크린샷이든 아이콘의 동일한 요소이든 테스트 중인 시각적 자산 중 하나처럼 보이지 않아야 한다는 것입니다.

예를 들어 교육용 앱에 대한 실험을 실행합니다. 변형 A의 아이콘과 동일한 요소가 있는 배너를 디자인하지만 변형 B는 완전히 다른 아이콘입니다. 대안 A는 사용자가 처음 보고 클릭한 배너와 동일한 디자인을 가지고 있기 때문에 더 높은 전환율을 보여줍니다.

연구에 따르면 사람들이 무언가를 반복적으로 볼 경우 뇌가 정보를 더 빨리 처리하여 호감이 생긴다고 합니다. 여기에서 자세한 내용을 읽을 수 있습니다. 따라서 사용자는 이미 친숙한 이미지를 무의식적으로 두드리는 경향이 있습니다.

교훈: 배너 광고를 작업할 때 디자인을 최대한 중립적으로 만드십시오. 배너 디자인은 앱 아이콘 또는 스크린샷 변형의 디자인과 일치하지 않아야 합니다.

5. 여러 가설을 한 번에 테스트

동일한 실험 내에서 여러 변경을 수행하고 테스트하는 것은 의미가 없습니다. 일부 모바일 마케터는 테스트를 실행한 후 잘못된 결론을 내립니다. 몇 가지 변경 사항이 있고 실제로 결과에 정확히 어떤 영향을 미쳤는지 알 수 없기 때문입니다.

앱 스토어 제품 페이지 스크린샷의 색상을 변경하기로 결정했다면 다른 배경 색상으로 하나 또는 몇 가지 변형을 만들고 테스트를 실행하십시오. 스크린샷의 색상, 순서, 텍스트를 동시에 변경하지 마십시오. 그렇지 않으면 승리한 변형이 표시되고(변형 B로 둡니다) 실제로 효과가 있었던 색상 변경인지 여부를 알 수 없습니다.

교훈: 한 번에 여러 가설을 테스트하면 그 중 어느 것이 맞는지 이해할 수 없습니다.

6. 두 개의 유사 콘텐츠가 동일하지만 승자가 되는 상황을 잘못 해석

A/A 테스트를 실행할 때 A/B 테스트 도구가 두 개의 동일한 자산 중에서 가장 우수한 변형을 표시할 때 혼동될 수 있습니다. 특히 실험을 실행하기 위한 Google Play 스토어의 내장 도구에서 일반적입니다.

SplitMetrics 플랫폼에서 5% 유의 수준에서 이러한 경우 결과가 중요하지 않음을 알 수 있습니다.

정확히 동일한 두 변형 간의 작은 차이는 순수한 우연의 일치입니다. 다른 사용자는 약간 다르게 반응했습니다. 그것은 동전 던지기와 같습니다. 앞면이나 뒷면이 나올 확률이 50-50이고 변형 중 하나가 더 나은 결과를 보여줄 확률이 50-50입니다.

이와 같은 상황에서 통계적으로 유의미한 결과를 얻으려면 절대적으로 모든 사용자로부터 결과를 얻어야 하는데 이는 불가능합니다.

교훈: 동일한 자산을 테스트할 때 가장 좋은 변형을 얻는다면 A/B 테스트 도구에는 아무런 문제가 없으며 단지 우연의 일치일 뿐입니다. 그러나 순차적인 A/B 테스트를 수행하면 결과가 중요하지 않음을 알 수 있습니다.

7. 새로운 변형이 현재 변형을 잃으면 화를 낸다.

일부 모바일 마케팅 담당자와 사용자 획득 관리자는 실험에서 예상하지 못한 현재 변형이 승리하는 것으로 나타났을 때 실망하고 새로운 변형이 결국에는 승리할 것이라는 희망으로 더 많은 유료 트래픽에 예산을 낭비하기 시작합니다.

당신의 가설이 확인되지 않았다면 기분이 나쁠 이유가 없습니다. 테스트 없이 앱 스토어 제품 페이지에서 무언가를 변경했다면 잠재 고객의 일부를 잃게 되었고 결과적으로 돈을 잃게 되었을 것입니다. 동시에 이 실험에 돈을 썼으므로 지식에 대한 비용을 지불했습니다 . 이제 앱에 효과가 있는 것과 그렇지 않은 것을 알게 되었습니다.

교훈: 모든 일에는 이유가 있고 A/B 테스트가 가설을 확인하지 못했다고 해서 슬퍼해서는 안 됩니다. 이제 게임이나 앱에 가장 적합한 자산이 무엇인지에 대한 명확한 비전을 갖게 되었습니다.