A/B 테스팅에 대한 전체 가이드: Google, HubSpot 등의 전문가 팁

A/B 테스트에 대해 읽은 것은 이번이 처음이 아닐 것입니다. 이메일 제목이나 소셜 미디어 게시물을 이미 A/B 테스트하고 있을 수도 있습니다.

마케팅 분야에서 A/B 테스팅에 대해 많은 이야기가 있었음에도 불구하고 많은 사람들이 여전히 잘못 알고 있습니다. 결과? 부적절한 테스트의 부정확한 결과를 기반으로 주요 비즈니스 결정을 내리는 사람들.

A/B 테스트는 특히 상점 소유자를 위해 작성된 콘텐츠에서 지나치게 단순화되는 경우가 많습니다. 아래에서 전자상거래를 위한 다양한 유형의 A/B 테스트를 시작하기 위해 알아야 할 모든 것을 최대한 쉽게 설명합니다.

A/B 테스팅이란?

분할 테스트라고도 하는 A/B 테스트는 동일한 웹 페이지, 이메일 또는 기타 디지털 자산의 두 가지 버전을 비교하여 어느 버전이 더 나은지 결정하는 프로세스입니다.

이 프로세스를 통해 중요한 비즈니스 질문에 답하고, 이미 보유한 트래픽에서 더 많은 수익을 창출하고, 데이터 기반 마케팅 전략의 기반을 설정할 수 있습니다.

자세히 알아보기: 비즈니스를 위한 SWOT 분석 수행 방법

A/B 테스트 작동 방식

마케팅의 맥락에서 A/B 테스트를 사용할 때 방문자의 50%는 자산 버전 A(이를 "컨트롤"이라고 함)이고 방문자의 50%는 버전 B(이것을 "변형"이라고 함)입니다.

전환율이 가장 높은 버전이 승리합니다. 예를 들어 변형(버전 B)이 가장 높은 전환율을 보였다고 가정해 보겠습니다. 그런 다음 이를 승자로 선언하고 방문자의 100%를 변형으로 푸시합니다.

그런 다음 변형이 새 컨트롤이 되며 새 변형을 설계해야 합니다.

A/B 테스트 전환율이 성공의 불완전한 척도라는 점은 언급할 가치가 있습니다. 왜요? 상점의 모든 것을 무료로 만들어 즉시 전환율을 높일 수 있습니다. 물론 그것은 끔찍한 비즈니스 결정입니다.

그렇기 때문에 금전 등록기가 울리는 소리까지 전환의 가치를 추적해야 합니다.

무료 읽기 목록: 초보자를 위한 전환 최적화

전환 최적화에 대한 집중 과정을 수강하여 더 많은 웹사이트 방문자를 고객으로 전환하십시오. 아래에서 선별된 영향력 있는 무료 기사 목록에 액세스하십시오.

무료 읽기 목록 받기

받은 편지함으로 바로 전달되는 전환 최적화 읽기 목록을 받으십시오.

거의 다 왔습니다: 즉시 액세스하려면 아래에 이메일을 입력하세요.

이메일 주소 업데이트 받기

또한 Shopify 뉴스레터에서 새로운 교육 가이드 및 성공 사례에 대한 업데이트를 보내드립니다. 우리는 스팸을 싫어하며 귀하의 이메일 주소를 안전하게 보호할 것을 약속합니다.

구독해 주셔서 감사합니다. 곧 무료 팁과 리소스를 받을 수 있습니다. 그 동안 Shopify 14일 무료 평가판으로 스토어 구축을 시작하세요.

시작하다

A/B/n 테스트란 무엇입니까?

A/B/n 테스트를 사용하면 컨트롤에 대해 둘 이상의 변형을 테스트할 수 있습니다. 따라서 방문자의 50%와 50%의 방문자에게 대조군을 표시하는 대신 방문자의 25%, 첫 번째 변형, 25%, 두 번째 변형, 25% 세 번째 변형을 표시할 수 있습니다.

참고: 이는 여러 변형을 포함하는 다변수 테스트와 다릅니다. 다변수 테스트를 실행할 때 여러 변수를 테스트할 뿐만 아니라 A/B 테스트 UX 또는 SEO 분할 테스트와 같은 여러 요소도 테스트합니다. 목표는 어떤 조합이 가장 실적이 좋은지 알아내는 것입니다.

다변수 테스트를 실행하려면 많은 트래픽이 필요하므로 지금은 무시해도 됩니다.

A/B 테스트는 얼마나 오래 실행해야 합니까?

A/B 테스트를 최소한 한 번, 이상적으로는 두 번의 전체 비즈니스 주기 동안 실행하십시오. 중요도에 도달했다고 해서 테스트를 중단하지 마십시오. 또한 미리 결정된 샘플 크기를 충족해야 합니다. 마지막으로 모든 테스트를 일주일 단위로 실행하는 것을 잊지 마십시오.

전체 비즈니스 주기가 두 번인 이유는 무엇입니까? 우선:

1. "나는 그것에 대해 생각할 필요가 있습니다" 구매자를 설명할 수 있습니다.
2. 다양한 트래픽 소스(Facebook, 이메일 뉴스레터, 자연 검색 등)를 모두 설명할 수 있습니다.
3. 이상을 설명할 수 있습니다. 예를 들어, 금요일 이메일 뉴스레터.

A/B 또는 랜딩 페이지 테스트 도구를 사용해 본 적이 있다면 작은 녹색 "통계적으로 유의미함" 아이콘에 익숙할 것입니다.

불행히도 많은 사람들에게 이것은 "시험이 끝났습니다. 전화하세요"라는 보편적인 표시입니다. 아래에서 자세히 알아보겠지만 A/B 테스트 통계적 유의성에 도달했다고 해서 테스트를 중단해야 하는 것은 아닙니다.

그리고 미리 결정된 표본 크기는? 그것은 보이는 것만큼 위협적이지 않습니다. Evan Miller의 이와 같은 샘플 크기 계산기를 엽니다.

이 계산은 현재 전환율이 5%이고 15% 효과를 감지할 수 있으려면 변형당 13,533개의 샘플이 필요하다는 것을 의미합니다. 따라서 표준 A/B 테스트인 경우 총 25,000명 이상의 방문자가 필요합니다.

더 작은 효과를 감지하려면 어떻게 되는지 지켜보세요.

변경된 모든 것은 최소 감지 효과(MDE)입니다. 15%에서 8%로 감소했습니다. 이 경우 변형당 47,127개의 표본이 필요합니다. 따라서 표준 A/B 테스트인 경우 총 100,000명에 가까운 방문자가 필요합니다.

A/B 테스트 UX 또는 SEO 분할 테스트 여부에 관계없이 테스트가 시작되기 전에 샘플 크기를 미리 계산해야 합니다. 테스트는 유의미한 수준에 도달하더라도 미리 결정된 표본 크기에 도달할 때까지 멈출 수 없습니다. 그렇다면 테스트가 유효하지 않습니다.

이것이 "100회 전환 후 중지"와 같은 모범 사례를 목적 없이 따를 수 없는 이유입니다.

일주일 단위로 테스트를 실행하는 것도 중요합니다. 트래픽은 요일과 시간에 따라 달라질 수 있으므로 요일을 모두 포함하는 것이 좋습니다.

왜 A/B 테스트를 해야 합니까?

Facebook 광고에 100달러를 지출하여 10명을 사이트로 보낸다고 가정해 보겠습니다. 평균 주문 금액은 $25입니다. 방문자 중 8명은 아무것도 사지 않고 떠나고 나머지 2명은 각각 25달러를 소비합니다. 결과? 50달러를 잃었습니다.

이제 Facebook 광고에 100달러를 지출하여 10명의 사람들을 사이트로 보낸다고 가정해 보겠습니다. 평균 주문 금액은 여전히 ​​$25입니다. 그러나 이번에는 방문자 중 5명만이 아무것도 사지 않고 떠나고 나머지 5명은 각각 25달러를 지출합니다. 결과? 25달러를 벌었습니다.

물론 이것은 더 간단한 A/B 테스트 예제 중 하나입니다. 그러나 사이트에서 전환율을 높임으로써 동일한 트래픽을 더 가치 있게 만들었습니다.

A/B 테스트 이미지 및 사본은 테스트의 승패에 관계없이 통찰력을 찾는 데 도움이 됩니다. 이 값은 매우 이전 가능합니다. 예를 들어, 제품 설명 A/B 테스트의 카피라이팅 통찰력은 가치 제안, 제품 비디오 또는 기타 제품 설명을 알리는 데 도움이 될 수 있습니다.

또한 매장의 효율성을 지속적으로 개선하는 데 집중하는 고유한 가치를 무시할 수 없습니다.

A/B 테스트를 해야 합니까?

반드시는 아닙니다. 트래픽이 적은 사이트나 웹 또는 모바일 앱을 실행하는 경우 A/B 테스트가 최적의 최적화 방법이 아닐 수 있습니다. 예를 들어 사용자 테스트를 수행하거나 고객과 대화하면 더 높은 투자 수익(ROI)을 얻을 수 있습니다.

일반적인 믿음에도 불구하고 전환율 최적화는 테스트로 시작하고 끝나지 않습니다.

위의 샘플 크기 계산기의 숫자를 고려하십시오. 기준 전환율이 5%인 경우 변형당 47,127명의 방문자가 8%의 효과를 감지합니다. 제품 페이지를 테스트하려고 한다고 가정해 보겠습니다. 2주에서 4주 사이에 거의 100,000명의 방문자가 방문합니까?

왜 2주에서 4주입니까? 우리는 최소한 두 번의 전체 비즈니스 주기에 대해 테스트를 실행하려고 합니다. 보통 2주에서 4주 정도 걸립니다. 이제 여러분은 "문제없어요, Shanelle, 필요한 샘플 크기에 도달하기 위해 2주에서 4주 이상 테스트를 실행하겠습니다."라고 생각할 수도 있습니다. 그것도 작동하지 않습니다.

테스트가 오래 실행될수록 외부 유효성 위협과 샘플 오염에 더 취약합니다. 예를 들어 방문자는 쿠키를 삭제하고 결국 새 방문자로 A/B 테스트에 다시 들어갈 수 있습니다. 또는 누군가가 휴대전화에서 데스크톱으로 전환하여 다른 변형을 볼 수 있습니다.

기본적으로 테스트를 너무 오래 실행하는 것은 충분히 오래 실행하지 않는 것만큼 나쁩니다.

테스트는 2-4주 안에 필요한 샘플 크기를 충족할 수 있는 상점에 대한 투자 가치가 있습니다. 트래픽이 증가할 때까지 다른 형태의 최적화를 고려할 수 없는 상점.

Shopify의 데이터 과학자 Julia Starostenko도 이에 동의하며 다음과 같이 설명합니다.

줄리아 스타로스텐코, Shopify

“실험은 재미있다! 그러나 결과가 정확한지 확인하는 것이 중요합니다.

“자신에게 물어보십시오. 청중이 충분히 많습니까? 충분한 데이터를 수집했습니까? (합리적인 기간 내에) 진정한 통계적 의미를 얻으려면 청중 규모가 충분히 커야 합니다."

무엇을 A/B 테스트해야 합니까?

나는 당신이 A/B 테스트해야 할 것을 말할 수 없습니다. 내가 알지. 지금 당장 테스트할 99가지 항목의 목록을 제공할 수 있다면 확실히 당신의 삶이 더 쉬워질 것입니다. 클릭에 대한 대가로 그렇게 하려는 마케터가 부족하지 않습니다.

사실 실행할 가치가 있는 테스트는 자신의 데이터를 기반으로 하는 테스트뿐입니다. 나는 당신의 데이터, 당신의 고객 등에 접근할 수 없으며, A/B 테스트 아이디어의 거대한 목록을 큐레이팅하는 사람도 없습니다. 우리 중 누구도 무엇을 테스트해야 하는지 의미 있게 말할 수 없습니다.

실행할 가치가 있는 테스트는 자신의 데이터를 기반으로 하는 테스트뿐입니다.

그 대신, 정성적, 정량적 분석을 통해 이 질문에 직접 답해 보시기 바랍니다. 몇 가지 인기 있는 A/B 테스트 예는 다음과 같습니다.

• 기술적 분석. 상점이 모든 브라우저에서 적절하고 빠르게 로드됩니까? 모든 기기에서? 반짝이는 새 iPhone 11이 있을 수 있지만 어딘가에서 누군가가 여전히 2005년의 Motorola Razr를 흔들고 있을 것입니다. 사이트가 적절하고 빠르게 작동하지 않으면 확실히 제대로 변환되지 않습니다.

• 현장 조사. 상점 방문자가 탐색할 때 팝업됩니다. 예를 들어, 현장 설문조사는 한동안 같은 페이지에 있었던 방문자에게 오늘 구매를 방해하는 요소가 있는지 물어볼 수 있습니다. 그렇다면 무엇입니까? 이 정성적 데이터를 사용하여 복사 및 전환율을 개선할 수 있습니다.

• 고객 인터뷰. 전화를 걸고 고객과 대화하는 것을 대체할 수 있는 것은 없습니다. 경쟁 매장보다 귀하의 매장을 선택한 이유는 무엇입니까? 그들이 귀하의 사이트에 도착했을 때 해결하려고 했던 문제는 무엇입니까? 고객이 누구이며 고객이 실제로 당신에게서 구매하는 이유를 이해하기 위해 백만 가지 질문을 할 수 있습니다.

• 고객 설문조사. 고객 설문조사는 방문자가 아닌 이미 구매한 사람들을 대상으로 하는 전체 길이 설문조사입니다. 설문 조사를 디자인할 때 고객을 정의하고, 고객의 문제를 정의하고, 구매하기 전에 그들이 가지고 있던 망설임을 정의하고, 매장을 설명하는 데 사용하는 단어와 구문을 식별하는 데 중점을 두고자 합니다.

• 분석 분석. 분석 도구가 데이터를 올바르게 추적하고 보고하고 있습니까? 어리석게 들릴지 모르지만 얼마나 많은 분석 도구가 잘못 구성되어 있는지 알면 놀랄 것입니다. 분석 분석은 방문자의 행동을 파악하는 것입니다. 예를 들어 유입경로에 집중할 수 있습니다. 가장 큰 전환 유입 경로 누출은 어디에 있습니까? 다시 말해, 대부분의 사람들이 유입경로에서 이탈하는 위치는 어디입니까? 테스트를 시작하기에 좋은 곳입니다.

• 사용자 테스트. 여기에서 유료 통제 실험에서 실제 사람들이 사이트에서 작업을 수행하는 것을 볼 수 있습니다. 예를 들어, $40–$60 범위의 비디오 게임을 찾아 장바구니에 추가하도록 요청할 수 있습니다. 그들은 이러한 작업을 수행하는 동안 자신의 생각과 행동을 큰 소리로 이야기합니다.

• 세션 재생. 세션 재생은 사용자 테스트와 유사하지만 이제 실제 돈과 구매 의도가 있는 실제 사람들과 거래하고 있습니다. 실제 방문자가 사이트를 탐색하는 모습을 볼 수 있습니다. 그들은 무엇을 찾는 데 문제가 있습니까? 그들은 어디에서 좌절합니까? 그들은 어디에서 혼란스러워 보입니까?

추가 유형의 연구도 있지만 가장 적합한 A/B 테스트 방법을 선택하는 것부터 시작하세요. 그 중 일부를 실행하면 테스트할 가치가 있는 데이터 기반 아이디어의 방대한 목록을 갖게 될 것입니다. 귀하의 목록이 "지금 테스트할 99가지 사항" 기사보다 더 많은 가치를 제공할 것임을 보장합니다.

A/B 테스트 아이디어 우선순위 지정

A/B 테스트 아이디어의 방대한 목록은 흥미롭지만 무엇을 테스트할지 결정하는 데 정확히 도움이 되지는 않습니다. 어디서 시작합니까? 여기서 우선순위가 나옵니다.

사용할 수 있는 몇 가지 일반적인 우선 순위 프레임워크가 있습니다.

• 빙. ICE는 임팩트, 자신감, 용이함을 의미합니다. 이러한 각 요소는 1-10 순위를 받습니다. 예를 들어 개발자나 디자이너의 도움 없이 혼자서 쉽게 테스트를 실행할 수 있다면 8점을 줄 수 있습니다. 여기에서 판단을 사용하고 테스트를 실행하는 사람이 두 명 이상인 경우 순위가 너무 주관적일 수 있습니다. 모든 사람을 객관적으로 유지하기 위한 일련의 지침을 갖는 것이 도움이 됩니다.

• 파이. PIE는 잠재력, 중요성 및 용이함을 나타냅니다. 다시 말하지만, 각 요소는 1-10 순위를 받습니다. 예를 들어 테스트가 트래픽의 90%에 도달하면 중요도를 8로 지정할 수 있습니다. PIE는 ICE만큼 주관적이므로 이 프레임워크에도 지침이 도움이 될 수 있습니다.

• PXL. PXL은 CXL의 우선 순위 프레임워크입니다. 조금 더 다양하고 사용자 정의가 가능하여 보다 객관적인 결정을 내려야 합니다. 세 가지 요소 대신 예/아니오 질문과 구현 용이성 질문을 찾을 수 있습니다. 예를 들어, 프레임워크는 "테스트가 동기 부여를 증가시키도록 설계되었습니까?"라고 물을 수 있습니다. 예인 경우 1을 받고, 아니오인 경우 0을 받습니다. 이 프레임워크에 대해 자세히 알아보고 여기에서 스프레드시트를 다운로드할 수 있습니다.

이제 어디서부터 시작해야 할지에 대한 아이디어가 생겼지만 아이디어를 분류하는 데 도움이 될 수도 있습니다. 예를 들어, 최근에 수행한 일부 전환 연구에서 구현, 조사 및 테스트의 세 가지 범주를 사용했습니다.

• 구현하다. 그냥 해. 깨지거나 뻔합니다.
• 조사하다. 문제를 정의하거나 솔루션 범위를 좁히기 위해 더 많은 생각이 필요합니다.
• 테스트. 아이디어는 건전하고 데이터에 기반합니다. 그것을 테스트!

이 분류와 우선 순위 지정 사이에 설정이 완료되었습니다.

A/B 테스트 통계의 집중 과정

테스트를 실행하기 전에 통계를 파헤치는 것이 중요합니다. 통계는 일반적으로 팬이 가장 좋아하는 과목은 아니지만 졸업하기 위해 마지못해 수강해야 하는 필수 과정이라고 생각하십시오.

통계는 A/B 테스트의 큰 부분입니다. 다행스럽게도 A/B 테스트 도구와 분할 테스트 소프트웨어는 옵티마이저의 작업을 더 쉽게 만들었지만, 나중에 테스트 결과를 분석하려면 배후에서 일어나는 일에 대한 기본적인 이해가 중요합니다.

HubSpot의 성장 마케팅 관리자인 Alex Birkett은 다음과 같이 설명합니다.

Alex Birkett, HubSpot

“통계는 마법의 전환수나 이진법 '성공!'이 아닙니다. 또는 '실패' 일. 불확실한 상황에서 결정을 내리고 주어진 결정의 결과가 어떻게 될지에 대한 흐릿함을 줄임으로써 위험을 줄이는 데 사용되는 프로세스입니다.

“이를 염두에 두고 기본을 아는 것이 가장 필요하다고 생각합니다. 평균, 분산, 표본 추출, 표준 편차, 평균 회귀 및 '대표' 표본 구성 요소가 무엇인가요? 또한 A/B 테스트를 시작할 때 사람의 실수를 최대한 줄이기 위해 특정 가드레일을 설정하는 데 도움이 됩니다.”

무슨 의미 야?

평균은 평균입니다. 당신의 목표는 전체를 대표하는 평균을 찾는 것입니다.

예를 들어 비디오 게임의 평균 가격을 찾으려고 한다고 가정해 보겠습니다. 당신은 세계의 모든 비디오 게임의 가격을 더하고 그것을 세계의 모든 비디오 게임의 수로 나누지 않을 것입니다. 대신 전 세계의 모든 비디오 게임을 대표 하는 작은 샘플을 분리합니다.

몇 백 개의 비디오 게임의 평균 가격을 찾게 될 수도 있습니다. 대표적인 표본을 선택했다면 200개의 비디오 게임의 평균 가격이 전 세계의 모든 비디오 게임을 대표해야 합니다.

샘플링이란 무엇입니까?

표본 크기가 클수록 변동성이 적어지므로 평균이 정확할 가능성이 높아집니다.

따라서 표본을 200개의 비디오 게임에서 2,000개의 비디오 게임으로 늘리면 분산이 적고 평균이 더 정확합니다.

분산이란 무엇입니까?

분산은 평균 변동입니다. 기본적으로 변동성이 높을수록 개별 데이터 포인트를 예측하는 평균 정확도가 떨어집니다.

그렇다면 평균은 각 개별 비디오 게임의 실제 가격에 얼마나 가깝습니까?

통계적 유의성은 무엇입니까?

A와 B 사이에 차이가 없다고 가정할 때, 얼마나 자주 효과를 우연히 보게 될까요?

통계적 유의 수준이 낮을수록 승리한 변형이 승자가 아닐 가능성이 커집니다.

간단히 말해서, 낮은 유의 수준은 "승자"가 실제 승자가 아닐 가능성이 크다는 것을 의미합니다(이를 거짓 긍정이라고 함).

대부분의 A/B 테스트 도구와 오픈 소스 A/B 테스트 소프트웨어는 미리 결정된 샘플 크기나 특정 시점에 도달할 때까지 기다리지 않고 통계적 유의성을 호출합니다. 이것이 통계적으로 유의미한 것과 통계적으로 유의하지 않은 것 사이를 왔다갔다하는 테스트를 볼 수 있는 이유입니다.

CXL Institute의 설립자인 Peep Laja는 더 많은 사람들이 A/B 테스트의 통계적 중요성과 이것이 중요한 이유를 진정 으로 이해하기를 바랍니다.

Peep Laja, CXL 연구소

“통계적 중요성은 유효성과 동일하지 않습니다. 중지 규칙이 아닙니다. 통계적 유의성이 95% 이상에 도달하면 다른 두 가지 중요한 조건이 충족되기 전까지는 아주 약간의 시간이 소요된다는 의미입니다.

"1. 샘플 크기 계산기를 사용하여 알아낼 수 있는 충분한 샘플 크기가 있습니다. 즉, 우리가 무엇이든 결론을 내릴 수 있을 만큼 충분한 사람들이 실험에 참여했습니다.

“2. 테스트는 샘플이 대표성이 되도록 충분히 오래 실행되었습니다(샘플 오염을 피하기에는 너무 길지 않음). 대부분의 경우 필요한 샘플을 얼마나 빨리 얻을 수 있는지에 따라 2주, 3주 또는 4주 동안 테스트를 실행하는 것이 좋습니다.”

평균에 대한 회귀는 무엇입니까?

A/B 테스트를 시작할 때 극심한 변동을 느낄 수 있습니다.

평균으로의 회귀는 첫 번째 측정에서 어떤 것이 극단적인 경우 두 번째 측정에서 평균에 더 가까울 것이라고 말하는 현상입니다.

테스트를 호출하는 유일한 이유가 통계적 유의성에 도달했기 때문이라면 위양성을 볼 수 있습니다. 승리한 변형은 시간이 지남에 따라 평균으로 회귀할 가능성이 높습니다.

통계력이란 무엇입니까?

A와 B 사이에 차이가 있다고 가정하면 얼마나 자주 효과를 볼 수 있습니까?

파워 레벨이 낮을수록 승자가 인식되지 않을 가능성이 커집니다. 파워 레벨이 높을수록 승자가 인식되지 않을 확률이 낮아집니다. 실제로, 대부분의 A/B 테스트 도구 및/또는 모든 분할 테스트 서비스에서 80%의 통계적 검정력이 표준이라는 사실만 알면 됩니다.

Online Dialogue의 창립자인 Ton Wesseling은 더 많은 사람들이 통계적 힘에 대해 알았으면 합니다.

톤 웨셀링, 온라인 대화

“많은 사람들이 오탐에 대해 걱정합니다. 우리는 거짓 음성에 대해 훨씬 더 걱정합니다. 긍정적인 변화가 영향을 미친다는 증거를 찾을 가능성이 정말 낮은 곳에서 실험을 실행하는 이유는 무엇입니까?”

외부 타당성 위협은 무엇입니까?

테스트의 유효성을 위협하는 외부 요인이 있습니다. 예를 들어:

• 블랙 프라이데이 사이버 먼데이(BFCM) 판매
• 긍정적 또는 부정적인 언론 언급
• 주요 유료 캠페인 출시
• 요일
• 변화하는 계절

외부 유효성 위협이 결과에 영향을 미치는 보다 일반적인 A/B 테스트 예 중 하나는 계절적 이벤트 동안입니다. 12월에 테스트를 실행한다고 가정해 보겠습니다. 주요 쇼핑 휴일은 해당 월에 매장의 트래픽이 증가함을 의미합니다. 12월 우승자가 더 이상 실적이 좋지 않다는 것을 1월에 발견할 수 있습니다.

왜요?

외부 유효성 위협 때문에: 휴일.

테스트 결정의 기반이 된 데이터는 비정상이었습니다. 1월에 상황이 안정되면 승자가 지는 것을 보고 놀랄 수 있습니다.

외부 유효성 위협을 제거할 수는 없지만 여러 유형의 트래픽(예: t 유료 트래픽을 독점적으로 테스트한 다음 모든 트래픽 소스에 결과를 배포하고 잠재적인 위협을 염두에 둡니다.

BFCM과 같이 바쁜 쇼핑 시즌에 테스트를 실행하거나 주요 외부 유효성 위협을 통해 테스트를 실행하는 경우 A/B 테스트에 대한 전체 가이드를 읽을 수 있습니다.

A/B 테스트를 설정하는 방법

약간의 A/B 테스트 자습서를 살펴보겠습니다. 무엇이든 테스트하기 전에 확실한 가설을 세워야 합니다. (좋아요, 우리는 방금 수학 수업을 마치고 이제 과학으로 넘어갑니다.)

복잡하지 않으니 걱정하지 마세요. 기본적으로 아이디어가 아니라 가설을 테스트해야 합니다. 가설은 측정 가능하고 특정 전환 문제를 해결하기 위해 열망하며 승리보다는 통찰력에 중점을 둡니다.

아이디어가 아닌 가설을 A/B 테스트해야 합니다.

가설을 작성할 때마다 Craig Sullivan의 Hypothesis Kit에서 차용한 공식을 사용합니다.

• [insert data/feedback from research]를 보기 때문에
• [테스트 중인 변경]이 [예상하는 영향]을 일으킬 것으로 예상하고
• [데이터 측정항목]을 사용하여 이를 측정합니다.

쉽죠? 빈칸을 채우기만 하면 테스트 아이디어가 가설로 전환됩니다.

A/B 테스트 도구 선택

이제 A/B 테스트 도구 또는 분할 테스트 서비스를 선택할 수 있습니다. 대부분의 경우 Google Optimize, Optimizely 및 VWO를 먼저 생각할 것입니다.

모두 훌륭하고 안전한 옵션입니다.

• 구글 최적화. 무료, 일부 다변수 제한 사항을 제외하고 저장하십시오. 이제 막 시작하는 경우에는 실제로 영향을 미치지 않습니다. Google Analytics A/B 테스트를 수행할 때 잘 작동하며 이는 플러스입니다.

• 최적화. 기술적 능력이 없어도 사소한 테스트를 쉽게 시작하고 실행할 수 있습니다. Stats Engine을 사용하면 테스트 결과를 더 쉽게 분석할 수 있습니다. 일반적으로 Optimizely는 세 가지 옵션 중 가장 비용이 많이 드는 옵션입니다.

• VWO. VWO에는 분석을 더 쉽게 해주는 SmartStats가 있습니다. 또한 초보자를 위한 훌륭한 WYSIWYG 편집기가 있습니다. 모든 VWO 계획에는 히트맵, 현장 설문조사, 양식 분석 등이 함께 제공됩니다.

또한 Shopify 앱 스토어에는 도움이 될 만한 몇 가지 A/B 테스트 도구가 있습니다.

A/B 테스팅 도구 또는 분할 테스팅 소프트웨어를 선택했으면 가입 양식을 작성하고 제공된 지침을 따르십시오. 프로세스는 도구마다 다릅니다. 그러나 일반적으로 사이트에 스니펫을 설치하고 목표를 설정하라는 메시지가 표시됩니다.

A/B 테스트 결과 분석 방법

내가 가설을 작성하면 성공에서 통찰력으로 초점이 이동한다고 말한 것을 기억하십니까? Google의 Analytics Advocate이자 제품 관리자인 Krista Seiden은 이것이 의미하는 바를 다음과 같이 설명합니다.

구글 크리스타 세이덴

"A/B 테스팅에서 가장 간과되는 부분은 패배자로부터 배우는 것입니다. 사실, 제가 실행한 최적화 프로그램에서 '실패 보고서'를 게시하는 습관을 가지고 있습니다. 분기 및 우리가 그들로부터 배운 것.

“제가 가장 좋아하는 것 중 하나는 제작 기간이 몇 달에 걸쳐 진행된 캠페인에서 나온 것입니다. 우리는 시작하기 직전에 랜딩 페이지 테스트에 몰래 들어갈 수 있었고, 비참하게 실패했기 때문에 우리가 한 것은 잘한 일입니다. 실제로 페이지를 있는 그대로 시작했다면 수익에 상당한 타격을 입혔을 것입니다. 우리는 결국 비즈니스에 엄청난 돈을 절약할 수 있었을 뿐만 아니라 새 페이지의 실적이 저조한 이유에 대해 자세히 조사하고 몇 가지 가정을 할 수 있었고(나중에 테스트), 그것이 우리를 더 나은 마케팅 담당자와 더 성공적으로 만들었습니다. 향후 캠페인에서."

가설을 올바르게 작성하면 미래의 테스트 및 비즈니스의 다른 영역에서 사용할 수 있는 통찰력을 얻을 수 있기 때문에 패자라도 승자가 됩니다. 따라서 테스트 결과를 분석할 때 테스트의 승패가 아닌 통찰력에 집중해야 합니다. 항상 배울 것이 있고 항상 분석할 것이 있습니다. 패자를 무시하지 마십시오!

가설을 올바르게 세우면 패자라도 승자가 됩니다.

여기서 주목해야 할 가장 중요한 것은 세분화의 필요성입니다. 테스트는 전반적으로 실패할 수 있지만 적어도 하나의 세그먼트에서 잘 수행될 가능성이 있습니다. 세그먼트란 무엇을 의미합니까?

• 신규 방문자
• 재방문자
• iOS 방문자
• 안드로이드 방문자
• 크롬 방문자
• 사파리 방문자
• 데스크톱 방문자
• 태블릿 방문자
• 자연 검색 방문자
• 유료 방문자
• 소셜 미디어 방문자
• 로그인한 구매자

당신은 아이디어를 이해, 그렇지?

테스트 도구에서 결과를 볼 때 사탕 상자 전체를 보고 있는 것입니다. 빨간 것을 마지막에 먹을 수 있도록 색별로 스마티를 분리하기만 하면 됩니다. 즉, 더 깊고 세분화된 통찰력을 발견할 수 있습니다.

확률은 가설이 특정 세그먼트에서 옳다는 것이 입증되었다는 것입니다. 그것은 또한 당신에게 뭔가를 알려줍니다.

분석은 테스트가 승자인지 패자인지 그 이상입니다. 데이터를 세분화하여 표면 아래에 숨겨진 통찰력을 찾으십시오.

A/B 테스트 도구는 분석을 수행하지 않으므로 시간이 지남에 따라 개발해야 하는 중요한 기술입니다.

무료 전자책: 초보자를 위한 전자상거래 분석

온라인 비즈니스를 구축하고 성장시키는 데 어떤 메트릭이 핵심인지 알아보십시오. 이 무료 가이드는 전자상거래 분석에 대해 배우기 위한 완벽한 첫 단계입니다.

지금 무료 전자책 받기

받은 편지함으로 바로 전달되는 초보자용 전자상거래 분석을 받으세요.

거의 다 왔습니다: 즉시 액세스하려면 아래에 이메일을 입력하세요.

이메일 주소 업데이트 받기

또한 Shopify 뉴스레터에서 새로운 교육 가이드 및 성공 사례에 대한 업데이트를 보내드립니다. 우리는 스팸을 싫어하며 귀하의 이메일 주소를 안전하게 보호할 것을 약속합니다.

구독해 주셔서 감사합니다. 곧 무료 팁과 리소스를 받을 수 있습니다. 그 동안 Shopify 14일 무료 평가판으로 스토어 구축을 시작하세요.

시작하다

과거 A/B 테스트를 보관하는 방법

내일 첫 번째 테스트를 실행한다고 가정해 보겠습니다. 2년 후, 그 시험의 내용을 기억할 수 있습니까? 가능성이 없습니다.

그렇기 때문에 A/B 테스트 결과를 보관하는 것이 중요합니다. 잘 관리된 아카이브가 없으면 얻은 모든 통찰력을 잃게 됩니다. 또한, 농담이 아닙니다. 보관하지 않는 경우 동일한 항목을 두 번 테스트하는 것은 매우 쉽습니다.

그러나 이를 수행하는 "올바른" 방법은 없습니다. 프로젝트 또는 효과적인 실험과 같은 도구를 사용하거나 Excel을 사용할 수 있습니다. 특히 이제 막 시작하는 경우에는 더욱 그렇습니다. 다음을 추적하고 있는지 확인하십시오.

• 가설
• 제어 및 변형의 스크린샷
• 이기든 지든
• 분석을 통해 얻은 통찰력

당신이 성장함에 따라 이 아카이브를 보관하는 것에 대해 감사하게 될 것입니다. 그것은 당신뿐만 아니라 신입 사원과 고문/이해관계자에게도 도움이 될 것입니다.

프로의 A/B 테스팅 프로세스

표준 A/B 테스팅 튜토리얼을 진행했으므로 이제 Google 및 HubSpot과 같은 회사에서 전문가의 정확한 프로세스를 살펴보겠습니다.

무료 읽기 목록: 초보자를 위한 전환 최적화

전환 최적화에 대한 집중 과정을 수강하여 더 많은 웹사이트 방문자를 고객으로 전환하십시오. 아래에서 선별된 영향력 있는 무료 기사 목록에 액세스하십시오.

무료 읽기 목록 받기

받은 편지함으로 바로 전달되는 전환 최적화 읽기 목록을 받으십시오.

거의 다 왔습니다: 즉시 액세스하려면 아래에 이메일을 입력하세요.

이메일 주소 업데이트 받기

또한 Shopify 뉴스레터에서 새로운 교육 가이드 및 성공 사례에 대한 업데이트를 보내드립니다. 우리는 스팸을 싫어하며 귀하의 이메일 주소를 안전하게 보호할 것을 약속합니다.

구독해 주셔서 감사합니다. 곧 무료 팁과 리소스를 받을 수 있습니다. 그 동안 Shopify 14일 무료 평가판으로 스토어 구축을 시작하세요.

시작하다

구글 크리스타 세이덴

웹 및 앱 A/B 테스트를 위한 단계별 프로세스는 분석에서 시작됩니다. 제 생각에는 이것이 모든 우수한 테스트 프로그램의 핵심입니다. 분석 단계에서 목표는 최적화 기회가 어디에 있는지 이해하기 위해 분석 데이터, 설문조사 또는 UX 데이터 또는 기타 고객 통찰력 소스를 조사하는 것입니다.

분석 단계에서 좋은 아이디어 파이프라인이 있으면 무엇이 잘못될 수 있는지 그리고 이러한 최적화 영역을 잠재적으로 수정하거나 개선할 수 있는 방법에 대한 가설로 넘어갈 수 있습니다.

다음으로 테스트를 빌드하고 실행할 차례입니다. 합리적인 시간 동안 실행하고(매주 변경 또는 이상 현상을 설명하기 위해 기본적으로 2주로 설정) 데이터가 충분하면 결과를 분석하여 승자를 결정합니다.

이 단계에서 패자를 분석하는 데 시간을 들이는 것도 중요합니다. 이러한 변형에서 무엇을 배울 수 있습니까?

마지막으로, 견고한 최적화 프로그램을 위한 토대를 마련하는 데 시간을 투자한 후에야 이 단계에 도달할 수 있습니다. 이제 개인화를 살펴볼 때입니다. 이것은 반드시 멋진 도구 세트를 필요로 하지는 않지만 사용자에 대한 데이터에서 나올 수 있습니다.

마케팅 개인화는 올바른 콘텐츠를 올바른 위치에 타겟팅하는 것만큼 쉬울 수도 있고 개별 사용자 작업을 기반으로 한 타겟팅만큼 복잡할 수도 있습니다. 그러나 개인화 비트에 한 번에 모두 뛰어들지 마십시오. 먼저 기본 사항을 바로 잡을 수 있도록 충분한 시간을 할애하십시오.

Alex Birkett, HubSpot

높은 수준에서 다음 프로세스를 따르려고 합니다.

• 데이터를 수집하고 분석 구현이 정확한지 확인하십시오.
• 데이터를 분석하고 통찰력을 찾으십시오.
• 통찰력을 가설로 바꾸십시오.
• 임팩트와 용이성을 기준으로 우선순위를 정하고 자원(특히 기술 자원)의 할당을 극대화합니다.
• 테스트를 실행합니다(내 지식과 능력을 최대한 활용하여 통계 모범 사례에 따라).
• 결과를 분석하고 결과에 따라 실행하거나 실행하지 마십시오.
• 결과를 기반으로 반복하고 반복합니다.

간단히 말해서 조사하고, 테스트하고, 분석하고, 반복하십시오.

이 프로세스는 컨텍스트(비즈니스 크리티컬 제품 기능을 테스트하고 있습니까? 블로그 게시물 CTA? 위험 프로필 및 혁신 대 위험 완화의 균형은 무엇입니까?)에 따라 달라지거나 변경할 수 있지만 모든 규모에 적용할 수 있습니다. 또는 회사의 유형.

요점은 이 프로세스가 민첩하지만 정성적 고객 피드백과 정량적 분석 모두 충분한 데이터를 수집하여 더 나은 테스트 아이디어를 제시하고 우선 순위를 더 잘 지정하여 온라인 상점으로 트래픽을 유도할 수 있다는 것입니다.

톤 웨셀링, 온라인 대화

고객 여정을 최적화할 때 항상 대답하는 첫 번째 질문은 이 제품 또는 서비스가 Online Dialogue에서 만든 ROAR 모델에서 어디에 적합합니까? 우리가 많은 조사를 할 수 있지만 A/B 테스트 온라인 실험(월 1,000건 미만의 전환)을 통해 결과를 검증할 수 없는 위험 단계에 있습니까? 아니면 최적화 단계에 있습니까? 아니면 위에도?

• 위험 단계: 많은 연구 , 비즈니스 모델 중심점에서 완전히 새로운 디자인 및 가치 제안에 이르기까지 무엇이든 변환될 것입니다.
• 최적화 단계: 가치 제안과 비즈니스 모델을 최적화할 대규모 실험.
• 최적화 단계: 사용자 행동 가설을 검증하기 위한 소규모 실험으로 더 큰 디자인 변경에 대한 지식을 구축합니다.
• 자동화: 아직 실험 능력(방문자)이 남아 있습니다 . 즉, 사용자 여정을 검증하는 데 전체 테스트 잠재력이 필요하지 않습니다. 남은 것은 지금 더 빠르게 성장하기 위해 익스플로잇에 사용해야 합니다(장기 학습에 초점을 두지 않고). 이것은 도적을 실행하거나 알고리즘을 사용하여 자동화할 수 있습니다.
• 다시 생각하십시오: 새로운 것에 대한 중심점이 아닌 한 많은 연구 를 추가하는 것을 중단합니다.

따라서 웹 또는 앱 A/B 테스트는 ROAR 및 그 이후의 최적화 단계에서 큰 일입니다(다시 생각할 때까지).

실험 실행에 대한 우리의 접근 방식은 FACT & ACT 모델입니다.

우리가 수행하는 연구는 5V 모델을 기반으로 합니다.

우리는 이러한 모든 통찰력을 수집하여 주요 연구 기반 가설을 제시합니다. 이 가설은 데스크톱 또는 모바일 A/B 테스트를 통해 수집된 데이터를 기반으로 우선 순위가 지정되는 하위 가설로 이어집니다. 가설이 사실일 확률이 높을수록 순위가 높아집니다.

우리의 가설이 참인지 거짓인지 알게 되면 학습을 결합하기 시작하고 고객 여정의 더 큰 부분을 재설계/재정렬하여 더 큰 단계를 밟을 수 있습니다. 그러나 어느 시점에서 모든 성공적인 구현은 로컬 최대값으로 이어질 것입니다. 그런 다음 잠재적인 글로벌 최대값에 도달할 수 있도록 더 큰 단계를 수행해야 합니다.

물론 주요 학습 내용은 회사 전체에 퍼져 검증된 자사 통찰력을 기반으로 모든 종류의 광범위한 최적화와 혁신으로 이어집니다.

국제 청중을 대상으로 마케팅을 하고 있습니까? 유사 현지화를 통해 해당 프로세스를 쉽게 만드는 방법을 알아보세요.

줄리아 스타로스텐코, Shopify

실험의 목적은 기존 웹페이지를 변경하면 비즈니스에 긍정적인 영향을 미칠 수 있는지 확인하는 것입니다.

시작하기 전에 실험을 실행하는 것이 정말로 필요한지 확인하는 것이 중요합니다. 다음 시나리오를 고려하십시오. 클릭률이 매우 낮은 버튼이 있습니다. 이 버튼의 성능을 줄이는 것은 거의 불가능합니다. 따라서 제안된 버튼 변경의 유효성을 검증할 필요가 없습니다(즉, 실험 실행).

마찬가지로, 버튼에 제안된 변경 사항이 작으면 실험을 설정, 실행 및 해체하는 데 시간을 할애할 가치가 없을 것입니다. 이 경우 변경 사항은 모든 사람에게 롤아웃되어야 하며 버튼의 성능을 모니터링할 수 있습니다.

실험을 실행하는 것이 실제로 도움이 된다고 판단되면 다음 단계는 개선해야 할 비즈니스 메트릭을 정의하는 것입니다(예: 버튼의 전환율 증가). 그런 다음 적절한 데이터 수집이 이루어지고 있는지 확인합니다.

Once this is complete, the audience is randomly run split testing between two groups; one group is shown the existing version of the button while the other group gets the new version. The conversion rate of each audience is monitored, and once statistical significance is reached, the results of the experiment are determined.

Peep Laja, CXL 연구소

A/B testing is a part of a bigger conversion optimization picture. In my opinion it's 80% about the research and only 20% about testing. Conversion research will help you determine what to test to begin with.

My process typically looks like this (a simplified summary):

• ResearchXL과 같은 프레임워크를 사용하여 전환 조사를 수행하여 사이트의 문제를 식별합니다.
• 우선 순위가 높은 문제(많은 사용자에게 영향을 미치고 심각한 문제임)를 선택하고 이 문제에 대한 가능한 많은 솔루션을 브레인스토밍합니다. 전환 연구 통찰력으로 아이디어 프로세스를 알립니다. 테스트를 실행할 장치를 결정합니다(데스크톱과 별도로 모바일 A/B 테스트를 실행해야 함).
• 트래픽/트랜잭션 수준을 기반으로 테스트할 수 있는 변형 수를 결정한 다음 통제에 대해 테스트할 솔루션에 대한 최상의 아이디어를 1~2개 선택합니다.
• 정확한 처리를 와이어프레임합니다(사본 작성, 디자인 변경 등). 변경 범위에 따라 새 요소를 디자인할 디자이너를 포함해야 할 수도 있습니다.
• 프론트 엔드 개발자가 테스트 도구에서 처리를 구현하도록 하십시오. 필요한 통합(Google Analytics)을 설정하고 적절한 목표를 설정합니다.
• 테스트에서 QA를 수행하여(깨진 테스트는 단연 가장 큰 A/B 테스트 킬러임) 모든 브라우저/장치 콤보에서 작동하는지 확인합니다.
• 테스트를 시작합니다!
• 테스트가 완료되면 사후 테스트 분석을 수행합니다.
• 결과에 따라 승자를 구현하거나 처리를 반복하거나 다른 것을 테스트하십시오.

무료 웨비나:

마케팅 101

매출 증대에 어려움을 겪고 계십니까? 이 무료 교육 과정을 통해 첫날부터 판매를 시작하는 방법을 배우십시오.

지금 등록하세요

비즈니스를 위한 A/B 테스트 최적화

프로세스가 있고 권한이 있습니다! 그러니 나가서 최고의 A/B 테스트 소프트웨어를 얻고 상점 테스트를 시작하십시오. 당신이 그것을 알기도 전에, 그러한 통찰력은 당신의 은행에 더 많은 돈을 더할 것입니다.

최적화에 대해 계속 배우고 싶다면 Udacity의 Google A/B 테스트와 같은 무료 과정을 수강하는 것이 좋습니다. 웹 및 모바일 앱 A/B 테스트에 대해 자세히 알아보면 최적화 기술을 높일 수 있습니다.