A/B 테스트 성공을 위한 준비 방법

이메일에서 내가 좋아하는 것 중 하나는 데이터입니다. 매우 쉽게 사용할 수 있기 때문에 분할 테스트를 실행하고 이메일 성능을 실시간으로 확인하기 쉽습니다. 가까운 경기를 보는 것처럼 스프레드시트를 살펴보고 끊임없이 데이터를 새로 고치는 나를 발견하게 될 것입니다.

그러나 A/B 테스트가 올바르게 설정되지 않은 경우에는 아무 것도 중요하지 않습니다.

견고한 기초가 없으면 A/B 테스트 결과를 신뢰할 수 없으며 잘못된 방향으로 이끌 수 있습니다. 그리고 이는 참여, 전환, 궁극적으로 구독자와 고객에게 비용을 초래할 수 있습니다. 따라서 다음 테스트에 대해 생각하기 전에 마케팅 전략을 추진하는 데 필요한 통찰력을 얻기 위해 성공할 준비가 되어 있는지 확인하십시오.

그리고 우리의 상주 테스팅 전문가이자 선임 성장 관리자인 John Kim보다 A/B 테스팅에 대해 더 잘 말할 수 있는 사람은 누구입니까? John은 우리 웹사이트에서 대부분의 전환 테스트를 실행하고 제 자신의 기술을 연마하는 데 많은 것을 가르쳐주었습니다. 그리고 이제 당신도 그에게서 배우게 될 것입니다.

성공적인 A/B 테스트를 실행하기 위해 해야 할 주요 사항은 무엇입니까?

어디에서 테스트하든(예: 이메일, 웹사이트, 인앱 또는 유료 광고) 기본 사항은 동일하게 유지됩니다. 이를 올바르게 수행하면 신뢰할 수 있고 조치를 취할 수 있는 결과를 얻을 수 있습니다.

무엇을 테스트하는지 확인

A/B 테스트를 실행하기 전에 테스트하려는 내용을 정확히 이해하는 것이 중요합니다. Litmus에서는 성공과 학습의 기회를 최대화하기 위해 각 A/B 테스트에 대해 문서화한 여러 기준을 가지고 있습니다.

가설

아마도 A/B 테스트의 가장 중요한 요소인 좋은 가설은 해결하려는 문제에 대한 답일 것입니다.

귀하의 가설은 명확하고 집중적이어야 하며 일부 기본 또는 제한된 증거로 작성되어야 합니다. 간단히 말해서 복잡한 비즈니스 문제를 해결하는 방법에 대한 교육적인 추측입니다. 실험이 테스트를 위해 설계될 것이기 때문에 가설을 명확하게 정의하는 것이 중요합니다.

가설 작성을 시작하십시오! 우리의 경우 종종 if-then 문을 사용하여 작성됩니다.

예: 표준 버튼 색상을 녹색 대신 주황색으로 변경하면 클릭률이 증가합니다.

목표

실험을 실행하기 전에 문서화하고 싶은 다음 요소는 실험의 목표입니다. 궁극적으로 비즈니스를 위해 무엇을 달성하려고 합니까?

당신에게 성공이 무엇을 의미하는지 명확히 하십시오.

예: 우리의 목표는 버튼의 클릭률을 증가시켜 다음 페이지의 전환을 증가시켜 전반적으로 더 많은 평가판 가입 또는 활성화를 유도하는 것입니다.

측정항목

실험을 실행하기 전에 기본 측정항목에 대해 모니터링할 대상을 아는 것이 중요합니다. 가설과 목표가 주어졌을 때 이전에 언급한 목표와 관련하여 성공을 결정하는 데 사용할 하나 또는 두 개의 측정항목을 명확하게 지정하십시오.

이 단계는 다음을 확인하기 위해 중요합니다.

1. 자신에게 중요한 측정항목 파악
2. 해당 활동을 모니터링하고 해당 사용자와 동질 집단(전체 청중에서 가져온 테스트 및 통제 청중)에 귀속할 수 있는 능력이 있습니다.
3. 보조 지표를 이해하십시오.. 기본 지표 외에도 사용자가 나머지 경험과 상호 작용하는 방식을 모니터링하는 것이 중요합니다.

난간

주어진 테스트가 비즈니스에 영향을 미칠 수 있는 다양한 방식은 놀라울 수 있습니다.

이 단계에서 우리가 하는 일은 다가오는 A/B 테스트가 긍정적 또는 부정적 영향을 미칠 수 있는 모든 메트릭과 채널을 문서화하는 것입니다.

이 연습을 통해 다음을 수행하는 것이 중요합니다.

1. 주어진 테스트에 대한 놀라움 최소화
2. 잠재적인 이점과 위험/가드레일을 비교(가능한 한 최선)하십시오.

우리 팀은 시험 준비에 상당한 노력을 기울입니다. 우리는 현실적인 기대, 성공과 실패의 문턱을 가지고 각 테스트에 임하고 다양한 결과에 대비합니다.

Litmus Analytics에서 일반적이지 않은 이메일 측정항목에 액세스 공개율, 클릭률, 구독 취소율 등과 같은 표준 이메일 지표는 많은 것을 알려줄 수 있습니다. 이메일 클라이언트, 읽기 비율 등과 같은 세부 정보를 통해 청중이 이메일과 상호 작용하는 방식을 이해하십시오. 더 많은 이메일 데이터 받기 →

분할 테스트 및 추적

A/B 테스트 또는 분할 테스트는 널리 사용 가능한 기능이며 대부분의 ESP(이메일 서비스 공급자) 및 마케팅 자동화 플랫폼에서 제공됩니다. 마케팅 사이트 또는 앱에서 테스트를 실행하려는 경우 VWO 또는 Optimizely와 같은 도구도 솔루션을 제공합니다.

잠재고객을 선택할 때 통계적 유의성을 확립하기 위해 전체 테스트에 참여해야 하는 잠재고객의 수를 결정하거나 그룹 A와 그룹 B 간의 전환율 차이가 임의적 우연으로 인한 것이 아닐 가능성을 결정합니다. . 충분한 청중이 있는 경우 전체 청중의 일부를 분할하여 이러한 그룹으로 50/50으로 분할하는 것이 좋습니다. 여기 Litmus에서 우리는 수년 동안 도움이 되는 다양한 도구를 발견했습니다. 우리가 가장 좋아하는 것 중 하나는 Neil Patel의 A/B 테스트 계산기입니다.

테스트 대상에 필요한 사람의 수를 결정하고 나면 그 중 절반은 경험에 변경 사항을 적용하지 않아야 합니다. 이 그룹이 귀하의 통제 그룹이 됩니다. 가능한 한 최상의 경험은 귀하가 기준선 또는 일반적인 경험으로 간주하는 것과 매우 유사해야 합니다. 잠재고객의 나머지 절반은 변형 집단이 됩니다. 이 그룹의 사용자에 대해 테스트 처리를 적용합니다.

A/B 테스트는 일반적으로 코호트 수준에서 분석됩니다. 의미 - 우리는 치료 경험을 받은 코호트가 대조군 코호트와 상당히 다르게 전환되었는지 여부를 평가합니다.

청중 구성원을 특정 집단에 무작위로 배치하는 것이 중요하고 주어진 모든 구성원이 한 번만 치료를 받는 것이 중요합니다. 각 코호트(테스트 및 컨트롤)의 구성을 고려한다면 단일 코호트에 대해 특정 인구 통계학적, 기업 통계학적 또는 기타 사용자 특성에 대한 편견을 도입하지 않도록 해야 합니다. 동질 집단을 무작위화하고 변형 수가 적으면 집단이 무작위로 선택한 청중을 대표할 수 있습니다.

마무리

A/B 테스팅이 어려울 필요는 없지만 올바르게 설정하지 않으면 그로부터 얻은 통찰력은 큰 의미가 없습니다. 여기에서 탐색한 기본 사항을 이해하면 성공을 위한 준비가 되어 전체 마케팅 전략에 학습 내용을 적용할 수 있습니다. 기억하십시오. 각 요소에 대해 한 발짝 뒤로 물러나서 생각해보면 잘 될 것입니다. 이메일 마케팅의 A/B 테스트에 대한 블로그를 계속 지켜봐 주십시오. 여기에서 우리가 가장 좋아하는 채널을 테스트하는 방법에 대해 더 자세히 알아볼 것입니다.

더 많은 데이터. 더 많은 통찰력. 표준 이메일 지표를 넘어서면 더 많은 이메일 데이터와 더 많은 인사이트를 얻을 수 있습니다. Litmus Plus에 내장된 Litmus Email Analytics의 강력한 기능으로 읽기 속도, 전달 속도 등에 액세스하십시오. Litmus Plus 무료 체험 →