마케팅에서 다변량 테스트 시작하기
게시 됨: 2023-08-10디지털 마케팅의 가장 큰 이점 중 하나는 마케팅 믹스의 거의 모든 측면을 테스트하여 가장 효과적인 것이 무엇인지 확인할 수 있다는 것입니다. 이메일 제목과 헤드라인에서 랜딩 페이지 이미지와 CTA 색상에 이르기까지 결과를 테스트하고 비교하는 기능은 기존 미디어보다 우위에 있습니다.
대부분의 경우 A/B 테스트를 사용하여 한 번에 하나의 캠페인 요소를 선택하고 테스트할 수 있습니다. 그러나 다른 경우에는 한 번에 여러 가지 다른 요소를 변경하는 효과를 측정하고 싶을 수 있습니다. 다른 요소 간의 관계를 밝히고 싶을 수도 있습니다. 이러한 상황에서는 다변량 테스트가 필요합니다.
다변량 테스트란 무엇입니까?
다변수 테스트(MVT)는 한 번에 여러 요소 또는 변수 조합을 테스트하는 테스트 방법입니다. 한 번에 하나의 요소를 테스트하는 A/B 테스트와 비교할 때 MVT 프로세스를 사용하여 원하는 결과를 달성하는 데 가장 적합한 변수 조합을 찾을 수 있습니다. 다양한 요소가 사용자 행동에 어떻게 영향을 미칠 수 있는지에 대한 귀중한 통찰력을 제공합니다.
다변량 테스트는 많은 샘플 크기가 필요한 리소스 집약적인 프로세스입니다. 사용에 관심이 있는 경우 다음 가이드가 적합 여부를 결정하는 데 도움이 될 수 있습니다.
다변량 테스트 예
실생활에서 다변량 테스트는 어떤 모습입니까?
전자상거래 소매업체에 대한 다음 예를 고려하십시오.
더 많은 클릭을 유도하는 언어를 확인하기 위해 CTA 버튼의 색상과 언어를 전환하려고 합니다. 어떤 것이 가장 효과적인지 결정하기 위해 MVT를 사용하기로 결정했습니다. 이 상황에서는 페이지의 네 가지 버전을 만들고 각각을 테스트합니다.
헤드라인을 변경하고 고객 환영 이메일에 더 많은 이미지를 추가하면 클릭이 증가하는지 알고 싶습니다. 헤드라인과 이미지가 다른 여러 버전을 만들고 캠페인이 진행되도록 합니다.
랜딩 페이지에서 전환율을 높여야 하므로 헤드라인, 이미지, 텍스트 콘텐츠 및 양식 필드의 다양한 조합을 테스트하여 어떤 조합이 가장 높은 전환율로 이어지는지 확인하기로 결정합니다.
웹 사이트의 홈 페이지에서 이탈률이 높아지고 제품 페이지에 대한 클릭 수가 적어지므로 배너, 탐색 메뉴 및 CTA 버튼 배치를 테스트하여 사용자 경험을 최적화하고 사용자를 판매 퍼널로 더 이동시킵니다.
다변량 테스트의 목표는 가장 잘 작동하는 요소를 찾는 것이 아니라 이러한 요소가 서로 상호 작용하는 방식을 이해하는 것입니다.
다변량 테스트와 A/B 테스트 비교
다변량 테스트와 A/B 테스트의 차이점은 무엇입니까? 두 테스트 모두 페이지에서 항목을 변경하면 발생할 수 있는 일에 대한 가설을 세우는 것과 관련이 있습니다. 우리가 확립한 것처럼 전자에서는 종종 동시에 여러 요소 또는 변수를 테스트합니다. A/B 테스트는 한 번에 하나의 변수에만 집중합니다.
그렇다면 어느 것이 귀하의 필요에 더 적합한지 어떻게 알 수 있습니까?
유료 검색 광고의 방문 페이지에서 전환을 늘리고 싶지만 어떤 접근 방식을 취하고 싶은지 잘 모르겠다고 가정해 보겠습니다. A/B 테스트는 단일 변경 사항을 변경하는 데 이상적인 더 간단하고 빠른 방법이지만 다변량 테스트는 보다 포괄적인 접근 방식을 제공합니다. 얼마나 많은 시간과 리소스가 있는지에 따라 하나가 다른 것보다 더 잘 작동할 수 있습니다.
궁극적으로 테스트 모델 선택은 시간, 트래픽 및 테스트할 항목의 복잡성에 따라 결정됩니다.
다변량 테스트를 사용해야 하는 경우
다변량 테스트는 웹사이트 최적화를 위한 훌륭한 도구이지만 항상 최선의 선택은 아닙니다. 다음 조건이나 요구 사항에 직면한 경우 적합할 수 있습니다.
수천 명의 방문자가 방문하는 상당한 양의 트래픽이 있습니다. 이 숫자는 변형 수에 따라 증가합니다. 필요한 샘플 크기는 현재 트래픽 수준보다 작아야 합니다.
방문 페이지 또는 체크아웃 프로세스를 포함하여 웹사이트의 주요 전환 지점을 최적화해야 합니다.
페이지의 다양한 요소가 어떻게 상호 작용하고 사용자 행동에 영향을 미치는지 이해하려고 합니다.
성능 최적화를 위해 기존 디자인을 개선해야 합니다.
다변량 테스트에 대한 좋은 사용 사례가 너무 많은데 언제 의미가 없습니까 ?
트래픽이 적습니다.
당신은 당신의 디자인의 초기 단계에 있습니다.
단일 변수를 테스트하려고 합니다.
이러한 상황에서는 A/B 테스트가 더 나은 선택일 수 있습니다. 테스트 프로세스를 시작하기 전에 특정 상황과 목표를 고려하십시오.
다변량 테스트의 유형
다변량 테스트에 전념할 때 접근 방식에 가장 적합한 방법도 결정해야 합니다. 테스트해야 하는 요소의 수는 테스트 프로세스에 걸리는 시간과 비용에 영향을 줄 수 있습니다.
다변량 테스트는 일반적으로 전체 요인 테스트 또는 부분 테스트의 두 가지 형식 중 하나를 취할 수 있습니다. 자원과 원하는 결과에 따라 하나가 다른 것보다 더 적합할 수 있습니다.
전체 요인 테스트
전체 요인 테스트에는 동일한 확률로 콘텐츠의 가능한 모든 조합을 테스트하는 것이 포함됩니다. 전체 요소 테스트에서는 모든 단일 조합을 테스트합니다. 2개의 이미지와 4개의 CTA가 포함된 랜딩 페이지가 있다고 가정해 보겠습니다. 즉, 8가지 다른 버전을 테스트하게 됩니다.
버전 1: 이미지 1, CTA 1
버전 2: 이미지 1, CTA 2
버전 3: 이미지 1, CTA 3
버전 4: 이미지 1, CTA 4
버전 5: 이미지 2, CTA 1
버전 6: 이미지 2, CTA 2
버전 7: 이미지 2, CTA 3
버전 8: 이미지 2, CTA 4
전체 요인 테스트는 포괄적인 데이터를 제공하지만 몇 가지 단점이 있습니다. 하나는 자원 집약적입니다. 보시다시피 변경하는 모든 변수에 대해 많은 수의 실험 실행이 필요하며 요인을 추가하는 경우에만 그 수가 증가합니다. 이러한 결과를 분석하는 것도 상당히 복잡합니다. 큰 샘플 크기 요구 사항으로 인해 통계적 유의성을 달성하는 것도 어려울 수 있습니다. 이는 확장성에 영향을 미칩니다.
대부분의 경우 필요한 리소스를 줄이면서도 귀중한 통찰력을 제공할 수 있는 부분 또는 부분 요인 검정을 수행하도록 선택할 수 있습니다.
부분 테스트
부분(또는 부분) 테스트는 사용 가능한 옵션의 더 작은 하위 집합을 테스트하는 더 간단한 프로세스입니다. 랜딩 페이지에 대해 훨씬 더 복잡한 변수 조합을 테스트하고 변수 수를 16개로 두 배로 늘리기로 결정했다고 가정해 보겠습니다. 전체 요인 테스트에서는 모든 변수 간에 트래픽을 균등하게 분할합니다.
부분 요인 테스트에서는 해당 트래픽을 8개의 변형으로 나눕니다. 나머지 변형의 전환율은 이미 테스트한 변형을 기반으로 한 통계적 공제에서 가져옵니다.
이 테스트를 구현하는 이유는 무엇입니까? 일반적으로 이러한 테스트에는 더 적은 트래픽이 필요하지만 세분화된 데이터를 얻을 수는 없습니다. 그러나 이것이 제공하는 것은 변형이 다른 것보다 더 나은지 또는 더 나쁜지에 대한 일반적인 감각입니다.
특히 전체 요인 테스트가 제공하는 포괄적인 데이터를 제공하지 않는 경우 부분 테스트를 선택하는 이유는 무엇입니까?
부분 다변량 테스트를 사용하면 가장 유망하거나 관련성이 높은 변수 조합에 집중할 수 있습니다. 이는 시간, 트래픽 또는 계산 능력과 같은 리소스가 제한되어 있을 때 중요합니다. 또한 특히 변수가 증가함에 따라 테스트의 복잡성을 줄입니다. 심지어 비교 횟수를 줄여 거짓 양성(실제로 이점을 제공하지 않는 결과)의 위험을 줄일 수 있습니다.
궁극적으로 테스트를 최대한 효율적으로 만들고 싶다면 부분 테스트가 도움이 될 수 있습니다. 장단점이 있다는 점만 알아두세요. 가능한 모든 조합을 테스트하지 않기 때문에 잠재적으로 중요한 요소 상호작용을 놓칠 위험이 있습니다.
다변량 테스트 수행 방법
다변량 테스트는 포함하는 변수의 수와 수행하는 테스트 유형에 따라 다르지만 기본 단계는 다음과 같습니다.
목표 확인: 테스트를 통해 달성하려는 것을 정의합니다. 목표의 예로는 전환 증가, 이탈률 감소, 사용자 참여 개선 등이 있습니다.
변수 선택: 목표를 알면 테스트할 사이트 요소를 식별할 수 있습니다. 여기에는 헤드라인, 이미지, 색상, 버튼, CTA 등이 포함됩니다.
변형 디자인: 각 변수에 대해 다른 버전을 만듭니다. 헤드라인을 테스트하는 경우 서로 다른 버전을 만들어 어떤 버전이 가장 좋은지 확인하세요.
테스트 설정: 테스트 설정에 적합한 다변량 도구를 찾으십시오. 이 도구는 사용자에게 다양한 변형을 무작위로 제공하고 결과를 추적합니다.
테스트 실행: 데이터를 수집하기에 충분한 시간 동안 테스트를 실행하십시오. 테스트 기간은 웹사이트 트래픽과 테스트해야 하는 변형 수에 따라 다릅니다.
결과 분석: 테스트가 완료되면 결과를 분석합니다. 목표와 관련하여 각 대안의 실적을 비교하세요.
변경 사항 구현: 분석을 기반으로 사이트 또는 앱에서 가장 성공적인 변형을 구현합니다.
필요에 따라 테스트를 반복합니다. 다변량 테스트는 "한 번에 완료되는" 작업이 아닙니다. 하나의 테스트를 완료하면 새 변수를 식별하고 프로세스를 다시 시작하십시오.
기억하세요: 다변량 테스트는 실적이 가장 좋은 변형을 식별하는 것만이 아닙니다. 다양한 요소가 어떻게 상호 작용하고 사용자 행동에 영향을 미치는지 이해하는 것도 중요합니다.
테스트할 변수를 찾는 방법
다변량 테스트에서 테스트할 요소를 아는 것은 기술입니다. 또한 테스트가 성공했는지 확인하는 것도 중요합니다. 다변수 테스트의 변수에는 헤드라인, 이미지, 동영상, CTA 버튼, 제품 설명, 레이아웃, 색상 등이 포함될 수 있습니다. 성공적인 다변량 테스트의 핵심에는 사용자 행동과 궁극적인 목표에 상당한 영향을 미치는 변수를 선택하는 것이 포함됩니다.
테스트에 어떤 변수를 포함해야 하는지 알아내려면 다음 단계를 수행하는 것이 좋습니다.
목표 이해
변수를 결정하기 전에 목표가 무엇인지 물어보십시오. 전환율을 높이고 싶습니까? 사용자 참여를 개선하거나 이탈률을 줄이기 위한 계획입니까? 이러한 목표는 집중할 변수를 안내합니다.
기존 데이터 분석
현재 분석 도구를 사용하여 기존 데이터를 분석하고 추세 또는 위험 신호를 식별합니다. 특정 페이지의 반송률이 높은 경우 변수를 테스트하여 해당 지표를 줄일 수 있습니다.
사용자 테스트 수행 및 피드백 요청
사용자 테스트는 실제 사람들이 웹사이트나 제품을 어떻게 사용하는지 이해하는 강력한 도구입니다. 설문 조사를 수행하고 피드백을 요청하면 고객의 잠재적인 문제점을 식별하는 데 도움이 될 수 있습니다.
대회를 확인하세요
경쟁자들이 무엇을 하고 있는지 살펴보십시오. 사이트의 어떤 요소가 성공에 도움이 되나요? 이러한 변수는 자신의 랜딩 페이지나 웹사이트에서 테스트할 수 있는 변수일 수 있습니다.
히트맵을 유리하게 사용
히트맵을 사용하면 사용자가 사이트에서 어디를 클릭하고 스크롤하고 시간을 보내는지 확인할 수 있습니다. 사용자가 특정 섹션에 머물고 있습니까? 그들이 귀하의 콘텐츠를 어떻게 읽거나 참여하고 있습니까? 히트 맵은 관심 영역을 표시하고 나중에 테스트할 수 있는 요소를 발견할 수 있습니다.
다변량 테스트의 장단점
모든 테스트 프로세스와 마찬가지로 다변량 테스트에도 고유한 장점과 단점이 있습니다. 확실히 웹 사이트 성능을 최적화하는 강력한 도구이지만 모든 사람에게 가장 적합하지 않을 수 있습니다. 테스트를 시작하기 전에 다음 장단점을 고려하십시오.
장점
MVT는 페이지 요소 간의 상호 작용을 테스트하는 효율적인 방법입니다.
한 번에 여러 변수를 테스트하기 때문에 연속 테스트가 더 적게 필요합니다.
이를 통해 사용자를 위해 고도로 최적화된 경험을 만들 수 있습니다.
다변량 테스트의 또 다른 주요 이점은 고도로 최적화된 사용자 경험을 생성하여 전환을 극대화할 수 있다는 것입니다. 페이지 속도, 비주얼, 심지어 CTA 유형과 같이 테스트하는 대부분의 요소 또는 변수는 사용자 경험에 영향을 미칠 수 있습니다. 전환을 위해 이러한 요소를 최적화하면 사람들이 사이트와 상호 작용하는 방식을 개선하는 추가 이점이 있는 경우가 많습니다.
단점
MVT는 여러 변수 조합을 포함하는 복잡한 프로세스입니다.
특히 간단한 A/B 테스트에 비해 시간이 오래 걸릴 수 있습니다.
많은 양의 사이트 트래픽이 필요하므로 소규모 사이트에서는 통계적 유의성을 달성하기가 더 어렵습니다.
사용자 행동에 영향을 미치지 않는 사소한 변경의 위험이 있습니다.
최고의 다변량 테스트 도구
시장에는 강력한 A/B 테스트 및 다변량 테스트 도구가 부족하지 않습니다. 가격은 플랫폼과 요구 사항에 따라 다를 수 있습니다. 가장 인기 있는 테스트 플랫폼은 다음과 같습니다.
Optimizely: 디지털 마케팅, 판매 및 전자 상거래 분야에서 가장 큰 이름 중 일부는 Optimizely의 실험 플랫폼을 사용하여 실험을 실행하여 고객 행동에 대한 통찰력을 얻습니다. 가속 및 확장 옵션을 사용하면 한 번에 여러 페이지에서 MVT를 수행할 수 있습니다. 다른 많은 공급자와 마찬가지로 가격 견적을 요청해야 합니다.
AB Tasty: AB Tasty는 선불 가격을 제공하지 않고 귀하가 제공한 정보를 기반으로 한 맞춤형 견적을 제공합니다. 그러나 테스트를 위한 많은 강력한 도구(코드 및 WYSIWYG 편집 기능 포함)를 제공합니다. 그들은 클라이언트 목록에 평판이 좋은 여러 브랜드를 나열하여 확인해야 하는 사회적 증거를 제공할 수 있습니다.
VWO: VWO는 특히 무료 버전에서 강력한 테스트 도구 모음을 제공합니다. 매월 요금제에 대해 지불하는 금액은 요구 사항과 매월 추적해야 하는 트래픽에 따라 다릅니다. 그러나 월 방문자 수가 50,000명 미만인 마케터의 성장 계획은 월 822달러이며 포괄적인 다변량 테스트 도구를 제공합니다.
변환: 변환은 "가능한 모든 종류의 실험을 설정"할 수 있다고 말하는 또 다른 MVT 도구입니다. A/B, 분할 및 다변량 테스트를 제공합니다. Convert 가격은 매월 테스트해야 하는 사용자 수에 따라 다르지만 Expert 플랜은 1,200만 사용자에 대해 연간 $13,432입니다. 테스트를 실행하는 데 15일 이상이 필요할 수 있지만 테스트 기간을 제공합니다.
교차 채널 캠페인에서 다변량 테스트의 중요성
다변량 테스트는 복잡한 프로세스일 수 있지만 교차 채널 전략에 얼마나 중요한지 과소평가하지 마십시오. 웹 페이지 또는 이메일 캠페인 내 요소 간의 관계를 이해하면 고객이 여정을 진행하는 동안 고객 경험을 개선하는 데 큰 도움이 됩니다. 디지털 마케팅 활동에 가장 적합한 데이터를 분석하고 말할 수 있는 능력은 필수적입니다.
디지털 광고 플랫폼이 제공되는 편리한 위치에 해당 데이터를 저장하는 데 도움이 되는 강력한 도구가 필요합니다. 마케팅 캠페인의 정보를 분석하고 어떤 유료 활동이 더 성공적인지 결정하는 데 도움을 드릴 수 있습니다. 올바른 디지털 마케팅 성과 대시보드를 사용하면 데이터를 보는 데 소요되는 시간을 줄이고 캠페인을 테스트할 에너지를 확보할 수 있습니다.
자주하는 질문
다변량 테스트와 A/B 테스트의 차이점은 무엇입니까?
A/B 테스트는 일반적으로 한 번에 하나의 변수만 테스트하고 목표 달성에 더 효과적인 변수를 보여줍니다. 다변량 테스트는 다양한 변수 조합을 테스트하여 상호 작용 방식을 확인합니다.
다변량 테스트의 이점은 무엇입니까?
다변량 테스트를 사용하면 랜딩 페이지, 웹사이트 또는 기타 마케팅 자산에서 여러 변형이 서로 어떻게 상호 작용하는지 확인할 수 있습니다. 전환율 증가와 같은 목표를 달성하기 위해 함께 작동하는 요소의 최상의 조합을 식별하는 데 도움이 됩니다.
다변량 테스트의 단점은 무엇입니까?
다변량 테스트는 포함해야 하는 변수의 수로 인해 시간이 많이 걸리는 프로세스입니다. 또한 비쌀 수 있습니다. 다변량 테스트에는 너무 많은 변수가 포함되기 때문에 일반적으로 통계적으로 유의미한 결과를 얻으려면 더 많은 양의 트래픽이 필요합니다.
다변량 테스트의 예는 무엇입니까?
귀하는 랜딩 페이지의 다양한 요소가 서로 어떻게 상호 작용하고 전환을 유도하는지 테스트하려는 전자 상거래 소매업체입니다. 다변량 테스트에서는 이러한 요소(제목, 색상, CTA 버튼 복사, 페이지 콘텐츠 및 이미지)의 조합을 만들고 이를 다른 잠재 고객에게 무작위로 할당합니다. 테스트가 끝나면 특정 목표(이 경우 전환율)에 가장 적합한 조합을 분석합니다.
언제 다변량 테스트를 사용해야 합니까?
높은 수준의 트래픽이 있고 주요 전환 지점을 최적화해야 하며 페이지의 여러 요소 간의 상호 작용을 이해하려는 경우 다변량 테스트를 사용하십시오.