실험에서 실제로 승리하는 방법(심지어 그렇지 않은 경우에도) – 접근 및 영감

전환을 개선하고 끊임없이 변화하는 고객 행동을 따라잡기 위해 기업은 의사 결정에서 추측을 가능한 한 많이 제거하기 위해 점점 더 실험 문화를 수용하고 있습니다.

그러나 성공적인 결과로 테스트를 실행한 후에는 실패한 결과에 대해 머리를 감싸는 것이 약간 어렵습니다.

그러나 실험이 승리에 관한 것입니까?

각 테스트가 수익 향상으로 이어질 것으로 기대한다면 틀렸습니다, 친구.

현실은 이와는 거리가 멀고 실험이 하룻밤 사이에 모든 비즈니스 메트릭을 수정하는 요술 지팡이라고 기대할 수는 없습니다.

대신 실험은 전략적 비즈니스 목표를 달성하는 데 도움이 되도록 질문에 대한 답을 찾고 가설을 검증하는 데 도움이 되는 프로세스 역할을 합니다. 시간과 일관성이 필요한 시련과 공포의 행사입니다.

당신이 이것을 이해한다면, 그것은 바로 거기에서 승리한 전투의 절반입니다.

테스트 결과가 암울할 때에도 어떻게 이겼습니까? 실험에 대한 접근 방식과 그에 대한 기대치를 바꿀 때 성공합니다. 아래에서는 이 라인에 대해 생각하기 시작하고 중요한 결과에 집중할 수 있는 방법론에 대해 설명합니다.

A/B 테스트 결과에서 배우고 개선하는 방법

테스트를 실행할 때마다 전환 향상을 보장할 수는 없습니다. 그렇다면 테스트를 실행하는 데 왜 귀찮게 하시겠습니까? Amazon, Netflix, Facebook과 같은 글로벌 거대 기업이 테스트를 실행하는 이유는 무엇이라고 생각하십니까? 모든 테스트가 그들에게도 승자가 되는 것은 아닙니다. 테스트의 궁극적인 목표는 어떤 아이디어가 도움이 되고 어떤 아이디어가 사용자 경험을 개선하는 데 도움이 되지 않는지 확인하는 것입니다. 테스트는 사용자 경험 혁신을 향한 여정에 도움이 됩니다.

장기적인 성공에 초점을 맞추면 서류상으로는 성공적이지 않은 A/B 테스트에서도 훌륭한 학습 자료를 얻을 수 있습니다. 아래에서는 전반적으로 실험에 대한 신선하고 세련된 접근 방식을 채택하기 위한 몇 가지 단계를 설명합니다.

브레인스토밍 아이디어

특정 역할 및 직책에 국한되지 않고 조직의 모든 사람이 테스트 아이디어를 제공하도록 동기를 부여하십시오. 기여할 것이라고 예상하지 못한 사람으로부터 차선책의 테스트 아이디어를 얻을 수 있습니다.

이미 키티에서 몇 가지 승리 테스트가 있습니까? 이해 관계자와 결과를 공유하십시오. 예를 들어 웹 양식을 최적화하여 부분 유료화 구독이 20% 또는 30% 증가한 방법을 보여줍니다. 또는 반복적으로 테스트하여 큰 성공을 거둔 테스트가 있는 경우 일부 테스트가 어떻게 인내심을 테스트하면서도 최종 결과를 얻을 가치가 있는지 공유하십시오.

그렇게 하면 팀원들이 실험에 관심을 갖고 실험을 작업의 필수적인 부분으로 만들도록 동기를 부여할 수도 있습니다. 이러한 대중적 참여는 실험 문화로의 전환을 위해 필요합니다.

VWO는 이 아이디어 여정에서 당신을 도울 수 있습니다. 어떻게? VWO Plan은 팀 협업을 식은 죽 먹기로 만드는 유용한 기능입니다. 특정 테스트와 관련된 모든 메모, 관찰, 통찰력 및 아이디어를 추가할 수 있는 중앙 저장소를 제공합니다. 이는 모든 팀원이 모든 테스트와 관련된 세부 정보를 계속 인식하는 데이터 기반 가설을 구축하는 구조화된 방법을 용이하게 합니다.

또한 언제든지 체크리스트를 참조하여 실험의 품질을 유지하기 위해 필요한 모든 사항을 확인할 수 있습니다. 테스트를 수행하는 데 더 많은 기교를 보일수록 직원들에게 이를 따르라고 지시할 수 있는 더 나은 위치에 있게 됩니다.

가설을 강화하십시오

실험은 가설을 검증하거나 반박합니다. 당신의 가설이 틀렸고 당신의 현상 유지가 여전히 강력한 성과를 내고 있다면? 어떻게 보면 승리가 아닌가? 당신은 당신의 통제 뒤에 있는 가설을 검증하고 나쁜 아이디어의 전달을 피하는 것과는 거리가 먼 A/B 테스트입니다.

결제 페이지에서 할인 코드 및 프로모션 코드 필드를 제거하여 사용자가 원활하게 결제할 수 있도록 사용자의 주의를 산만하게 한다고 가정해 보겠습니다.

그러나 예상과는 달리 이러한 필드를 제거하면 결제 페이지에서 이탈이 증가한다는 데이터를 볼 수 있습니다. 이를 통해 사용자가 할인을 원했을 수 있으므로 웹 사이트에서 여행하는 동안 이러한 요소를 볼 것으로 예상할 수 있습니다.

A/B 테스트를 통해 웹사이트에서 고객 행동에 대해 얻은 모든 지식을 사용하여 가설 생성 프로세스를 알립니다. 예제로 돌아가서 이전 테스트에서 사용자가 할인 코드를 검색하거나 타사 웹사이트에서 제품을 비교하는 것을 보고 웹사이트에서 이러한 정보를 제공하여 결제 및 구매 완료를 개선하는 테스트 아이디어를 구축할 수 있습니다.

핵심은 실험을 통합 프로세스로 보고 모든 A/B 테스트를 사일로로 취급하지 않는 데 있습니다.

VWO Plan은 사용자 행동 분석에서 관찰한 내용을 기록하고, 관찰한 내용을 바탕으로 가설을 세우고, 테스트 아이디어를 관리하고 우선순위를 정할 수 있어 편리합니다. 필요한 모든 세부 정보가 한 곳에 있으므로 가설 대시보드의 진행률 보기를 통해 모든 가설을 추적할 수 있습니다.

올바른 샘플 크기 선택

A/B 테스트에서 통계적으로 유의미한 결과를 얻으려면 트래픽이 충분한 페이지에서 이러한 테스트를 실행해야 합니다. 샘플 크기가 작을수록 통계적으로 유의미한 테스트에 많은 시간을 할애해야 합니다.

테스트 캠페인을 시작하기 전에 이를 정리하는 것이 좋습니다. 그것을하는 방법? VWO A/B 테스트 계산기를 사용해보세요. 그것은 무료입니다!

이 외에도 베이지안 추론을 기반으로 하는 VWO SmartStats는 최소 샘플 크기가 필요한 번거로움을 크게 줄여줍니다. 제어 및 변형에 대한 방문자 및 전환 수를 입력하여 중요성을 계산하십시오.

플랫폼 기능을 최대한 활용

마케터가 CRO 플랫폼의 모든 기능을 최대한 활용하지 못하는 경우가 많습니다.

예를 들어 VWO에서는 세그먼트화 후 보고서 필터링을 위해 사용자 정의 차원을 사용할 수 있습니다. 이를 통해 테스트 캠페인에서 다양한 사용자 세그먼트가 어떻게 행동하는지에 대한 더 깊은 통찰력을 얻을 수 있습니다. 그러나 사용 사례와 목적을 모른다면 CRO KPI에 적용할 수 있는 마법을 풀 수 없습니다.

VWO를 선택했다면 VWO의 기능 중 하나가 방문자 행동 분석이라는 것도 알아야 합니다. 테스트에만 자신을 제한해서는 안 됩니다. 대신 전체 최적화 프로그램을 한 단계 더 높이려면 다른 VWO 기능을 탐색해야 합니다.

보고서 평가

A/B 테스트 결과를 평가할 때 '승리'에 대한 마음을 자유롭게 하십시오. 실험을 향후 캠페인의 성과를 최적화하는 방법을 발견하고 배우기 위한 여정으로 보아야 합니다. 그리고 실험 결과를 올바른 방식으로 읽거나 평가할 때만 훌륭한 학습을 ​​이끌어낼 수 있습니다.

다음은 테스트를 실행한 후 스스로에게 물어볼 수 있는 몇 가지 질문입니다.

• 다양한 사용자 세그먼트가 변형에 어떻게 반응했습니까?
• 기존 사용자 또는 신규 사용자에게 가장 적합한 변형은 무엇입니까?
• 이 가설은 이전 가설과 어떻게 다른가요?
• 미래를 위한 다른 테스트 기회를 발견했습니까?

이러한 질문에 대한 답변은 더 세분화된 데이터를 얻기 위해 반복 테스트를 실행하거나 더 큰 마케팅 전략에서 새로운 아이디어를 위한 공간을 만들어야 하는지 여부에 관계없이 다음 단계를 안내해야 합니다.

그리고 A/B 테스트에 VWO를 사용하는 경우 세부 정보까지 쉽게 드릴다운할 수 있습니다. 각각에 대한 특정 메트릭을 연구하여 모든 변형의 성능을 볼 수 있을 뿐만 아니라 그래프를 사용하여 전환율을 비교할 수도 있습니다. A/B 테스트가 실패하더라도 맞춤 측정기준 기능을 사용하여 이 결과가 모든 사용자 세그먼트에서 일관된지 또는 특정 세그먼트가 테스트에 호의적으로 반응하는지 확인할 수 있습니다. 이것은 다음 개인화 캠페인의 기반을 형성할 수도 있습니다. 이 테스트에서 검증된 변경 사항으로 이 특정 세그먼트를 대상으로 지정합니다. VWO는 통합 플랫폼이기 때문에 이러한 모든 결과가 서로에게 전달되고 단일 대시보드를 통해 모든 것이 관리됩니다. 모든 기능이 포함된 무료 평가판을 사용하여 실제로 확인하십시오.

예를 들어 맞춤 측정기준이 작동하는 방식을 설명하겠습니다.

전자 상거래 상점에서 유니섹스 스니커즈를 판매하기 시작한 상위 브랜드를 강조하고 싶다고 상상해 보십시오.

귀하의 웹사이트 홈페이지에 상위 브랜드의 유니섹스 스니커즈를 선보이는 캐러셀을 추가하면 이 컬렉션에 대한 방문자의 관심을 불러일으키고 심지어 구매하도록 유도할 수 있다고 생각합니다.

따라서 캐러셀의 '지금 구매하기' CTA 버튼에 대한 테스트 및 추적 클릭을 실행하려고 합니다.

그러나 캐러셀 이미지가 매력적이지 않거나 하단의 라디오 버튼이 눈에 띄지 않거나 CTA 문구가 설득력이 없기 때문에 테스트가 제대로 수행되지 않은 것을 볼 수 있습니다. 그 이유는 무엇이든 될 수 있습니다.

그러나 보고서를 세분화하기로 결정하고 세부적인 수준에서 요소와 방문자의 상호 작용을 연구하려고 합니다. 이제 22-28세 사이의 여성에 대해 변형이 더 잘 수행되는 것을 볼 수 있습니다.

이 관찰을 바탕으로 운동화에 관심이 있는 것으로 보이는 해당 연령 그룹의 여성 방문자에게 할인 또는 프로모션 코드를 제공하는 개인화된 이메일 뉴스레터를 보낼지 결정할 수 있습니다. 또는 이 특정 고객 세그먼트에 대해서만 캐러셀을 사용하여 랜딩 페이지를 개인화할 수 있습니다.

하나의 문이 닫히면 다른 문이 열린다는 속담은 VWO 맞춤형 치수의 도움으로 이러한 상황에서 살아납니다.

실험정신을 가지고 성공한 기업

테스트에 대한 Paperstone의 '포기하지 않는' 접근 방식이 어떻게 수익을 증가시켰는지 알아보십시오.

영국에 기반을 둔 이 사무용품 회사는 유사한 제품을 판매하는 많은 지배적이고 작은 회사와 경쟁합니다. Paperstone은 VWO를 사용하여 웹 사이트를 최적화하고 최고의 사용자 경험을 제공하여 경쟁 우위를 유지했습니다.

사용자 설문 조사를 통해 회사는 고객과 잠재 고객이 대량 할인을 기대한다는 사실을 발견했습니다. 그러나 비즈니스의 경쟁적 특성을 고려할 때 이윤은 이미 매우 희박했습니다. 대량 할인은 평균 주문 금액이 증가한 경우에만 작동합니다.

그래서 그들은 특정 제품에 대한 할인을 제공하면 웹 사이트의 수익 마진을 개선할 수 있다는 가설을 세웠습니다.

컨트롤에는 대량 할인이 표시되지 않았지만 변형에는 인기 제품의 대량 구매에 대한 할인이 표시되었습니다.

밝은 노란색의 대량 구매 리본이 사용자의 시선을 끌 것으로 예상했지만 완전히 무시했습니다. 이 초기 실패로 인해 Paperstone은 전체 대량 할인 테스트 전략을 재고하게 되었습니다. 그러나 그들은 궁극적으로 통계적으로 유의미한 결과를 얻기 위해 더 오랜 시간 동안 테스트를 실행하고 더 많은 방문자를 테스트하기로 결정한 또 다른 반복을 진행했습니다.

동일한 가설을 사용하여 회사는 이번에 VWO를 사용하여 수익을 추적했습니다. 흥미롭게도, 변동이 대조군을 능가하여 AOV를 18.94%, 대량 할인 제안에 대한 AOV를 5%, 수익을 16.85% 증가시켰습니다.

POSist의 반복 테스트 전략을 통해 최고의 우승 변형을 발견했습니다.

SaaS 기반 레스토랑 관리 플랫폼인 POSist의 목표는 무료 데모에 대한 가입 수를 늘리는 것이었습니다. 팀은 웹사이트 전환 퍼널에서 중요한 역할을 하는 두 페이지가 웹사이트 홈 페이지와 연락처 페이지에서 이탈을 제어하기를 원했습니다. 이러한 이유로 POSist는 VWO로 전환하여 최적화 여정을 시작했습니다.

POSist는 VWO를 사용하여 2개의 홈페이지 테스트를 실행했습니다. 첫 번째 테스트에서 팀은 눈길을 끄는 헤드라인을 포함하고 스크롤 길이를 줄임으로써 홈페이지의 스크롤 없이 볼 수 있는 콘텐츠를 개선했습니다. 변형은 15.45%의 전환율로 연락처 페이지 방문을 증가시켰으며, 컨트롤의 13.25%에서 16% 증가했습니다.

두 번째 테스트에서는 맞춤형 로고, 사용 후기, 'Why POSist' 섹션을 추가했습니다. 또한 POS(point-of-sale) 소프트웨어 애플리케이션으로 전환하는 잠재 고객과 최초 구매자를 위해 업그레이드 및 전환이라는 제안을 분기했습니다.

테스트에 대한 반복적인 접근 방식을 사용하여 POSist는 이전 테스트에서 우승한 변형에 대해 이 변형을 테스트했습니다. 새로운 변화는 단 1주일 만에 연락처 페이지 방문을 5% 증가시켰습니다! 결과적으로 이 홈 페이지 변형은 그들의 웹 사이트에 게시되었습니다.

팀은 홈페이지를 정렬한 후 VWO Form Analytics의 양적 데이터를 연구하고 연락처 양식의 너비를 줄이면 가입 전환율을 높일 수 있다고 추론했습니다. 이 변화는 대조군의 9.37%에서 20% 증가한 11.26%의 전환율을 산출했습니다.

그러나 홈페이지에서와 마찬가지로 POSist는 보다 전환 중심적인 연락처 페이지를 만들고 변형 1에 대해 테스트했습니다. 이 테스트를 통해 전환율이 7% 증가했으며, 두 개의 연락처 페이지 테스트를 통해 전환율이 합쳐서 12% 향상되었습니다. .

이 방법으로 회사는 한 달 동안 52% 더 많은 리드를 얻었습니다! 이것은 반복 테스트가 사용자 경험 개선에 기여하는 모든 작은 차이를 최적화하는 데 도움이 된다는 것을 보여줍니다. 실험을 조직의 문화로 만드는 것은 반복 테스트에 대한 이러한 노력입니다.

멈추지 말고 테스트 계획을 피벗하십시오.

우리가 자라면서 읽은 성공에 대한 모든 '절대 포기하지 않는' 인용문은 실생활에서 하는 것처럼 실험에서도 실천해야 합니다. 장기적으로 큰 비즈니스 성공에 집중하고 싶다면. 따라서 결과에 관계없이 실행하는 모든 테스트의 기본 목표는 의미 있는 통찰력을 얻는 것입니다.

그러나 자신 있게 그 길을 걸어가려면 신뢰할 수 있는 CRO 도구를 마음대로 사용할 수 있는지 확인하십시오. VWO는 엄청난 기능과 ​​사용 편의성으로 조직의 가치 시스템에서 실험을 촉진하는 데 도움이 되는 최고의 도구입니다. 따라서 다음번에 아이디어를 테스트할 때 학습하고 더 현명한 비즈니스 결정을 내리기를 기대하십시오. 행복한 테스트!