A/B 테스팅 가이드

마케팅은 꽤 오랫동안 존재해 왔지만 지난 수십 년 동안 완전히 혁명적이었습니다. 추측 작업이 훨씬 적고 어떤 마케팅 전략이 성공하고 어떤 마케팅 전략이 실패했는지 훨씬 더 쉽게 식별할 수 있습니다.

오늘날 모든 마케팅 작업은 결과에 대한 노력을 돌릴 수 있어야 합니다. 이것이 의미하는 바는 마케팅 팀에 대한 더 많은 책임이 있다는 것입니다. 생성된 리드가 충분하지 않습니까? 문제가 있습니다. 연락처 목록이 너무 작습니까? 문제.

좋은 소식은 마케터가 더 많은 책임을 지게 되면서 그들이 사용하는 전술과 그렇지 않은 전술을 측정할 수 있는 더 나은 방법이 있다는 것입니다. 과거에는 "왜 충분한 리드를 생성하지 못합니까?"에 대한 대답이었습니다. "나는 잘 모르겠다." 였을 것입니다. 이제 부진한 결과 뒤에 숨겨진 이유를 종종 지적할 수 있습니다.

마케터가 작업을 가장 잘 최적화하는 방법 중 하나는 A/B 테스트를 사용하는 것입니다.

A/B 테스팅이란: 대략적인 개요

A/B 테스팅은 간단한 개념입니다. "분할 테스트"라고도 하는 웹 페이지나 제품 디자인과 같은 두 가지 버전의 사용자 인터페이스를 공개하여 어느 것이 더 나은 성능을 보이는지 확인하는 방법입니다.

인구의 절반은 하나의 버전을 보고 나머지 절반은 다른 버전을 보게 됩니다. 그런 다음 이러한 모든 방문의 데이터를 사용하여 더 나은 UI 버전을 결정할 수 있습니다.

무엇을 테스트

A/B 테스트를 시작할 때 어려운 부분 중 하나는 무엇을 테스트해야 하는지 결정하는 것입니다. 테스트할 수 있는 수많은 인터페이스가 있으며 이러한 인터페이스 내에서 시도할 수 있는 수많은 변형이 있습니다. 그래서 시작할 때 무엇을 테스트합니까?

목표 설정

가치 있는 테스트를 하고 있는지 확인하려면 분할 테스트를 통해 수행하려는 것이 무엇인지 파악해야 합니다. 무엇이든 테스트하기 전에 "이 특정 구성 요소를 다른 구성 요소와 비교하여 테스트하는 이유는 무엇입니까?"라는 질문에 답할 수 있어야 합니다.

따라서 테스트는 조직 내 높은 수준의 목표에서 영감을 얻어야 합니다. 회사의 연락처 목록을 작성하려는 마케팅 담당자라면 다양한 버전의 이메일 등록 양식을 테스트하십시오. 강력한 연락처 목록을 작성하는 것은 고품질의 잠재 고객을 생성한다는 마케팅의 상위 수준 목표에 부합합니다.

당신의 테스트가 평가를 위해 그 뒤에 어떤 종류의 어려운 숫자를 가지고 있는 것이 중요합니다. 테스트를 실행한 다음 개인 취향에 따라 결정을 내린다면 뭔가 잘못하고 있는 것입니다. 테스트 결과는 하드 데이터에 의해 뒷받침되어야 하며, 미미한 차이 이상을 가정할 때 대부분의 의사 결정을 수행해야 합니다.

Dan Siroker와 Pete Koomen의 책 A/B 테스팅: 클릭을 고객으로 전환하는 가장 강력한 방법의 이 표는 사이트 유형에 따라 목표가 무엇인지에 대한 좋은 가이드 역할을 합니다.

우선 순위를 지정하는 방법

"우리는 목표가 너무 많은데 목표를 좁히지 않았다"고 생각할 수도 있습니다. 그것은 유효한 지적입니다.

ROI를 기반으로 우선 순위를 지정하는 것이 현명합니다. 높은 ROI 요소를 테스트하는 것은 분명히 테스트에 대한 최상의 수익을 제공하고 다른 요소에 대한 추가 테스트를 정당화하는 역할을 합니다.

예를 들어 블로그를 운영하는 경우 두 가지 성공 메트릭은 총 페이지 조회수와 무료 평가판 가입일 수 있습니다. 이제 페이지 조회수는 훌륭하지만 페이지 조회수 급증으로 인한 직접적인 ROI는 없습니다(블로그에서 광고하거나 제품 홍보대사가 아닌 경우).

페이지 조회수보다 평가판 가입의 수익과 더 직접적인 관련이 있습니다. 따라서 평가판 버튼에 대한 성공적인 테스트는 예를 들어 블로그 게시물 헤드라인의 다양한 변형에 대한 성공적인 테스트보다 더 가치가 있습니다.

비즈니스에 가장 적합하기 때문에 더 영향력 있는 테스트를 먼저 수행하고 싶을 뿐만 아니라 조직 내에서 A/B의 가치에 의문을 제기하는 사람이 있는 경우 이 테스트를 개념 증명으로 사용할 수 있습니다. 테스트.

HiPPO 증후군을 피하십시오

시작하기 전에 목표와 우선 순위를 지정하는 방법을 결정하는 것이 중요합니다. 그 이유는 사람들은 어떤 디자인이 효과적일지 실제로 알지 못하고 목표를 설정하지 않으면 의사 결정 과정에서 너무 많은 주관성을 위험에 빠뜨리기 때문입니다.

HiPPO라는 용어는 최고 급여를 받는 사람의 의견을 의미합니다. 그리고 조직으로서 당신은 그것에 대해 매우 조심하기를 원합니다. 테스트에서 객관성이 결여된 조직은 종종 기본적으로 HiPPO를 선택하는데 이는 좋은 전략이 아닙니다.

그러나 시작하기 전에 하드 메트릭을 기반으로 하는 명확한 목표가 있다면 목표를 유지하는 데 훨씬 더 수월할 것입니다. 아무리 많은 돈을 번다 해도 명확한 수치를 무시하는 것은 누구에게나 어렵습니다(누군가 나에게 그 상사에 대한 이야기를 들려줄 수 있다고 확신하지만).

A/B 테스트 원칙

너무 일찍 정제하지 마십시오

A/B 테스팅을 하다 보면 결국에는 최상의 선택으로 디자인을 다듬는 시점에 이르게 되지만 너무 빨리 하지 않도록 해야 합니다. 시작할 때 이미 가지고 있는 것을 다듬기보다는 크게 생각하고 광범위한 아이디어를 실험해 보십시오.

웹 페이지가 한 방향으로 배치되어 있다고 가정해 보겠습니다. 수정하여 시작한다면 결국 해당 레이아웃의 최상의 버전에 도달하게 될 것입니다. 좋은 권리? 잘못된.

페이지의 레이아웃이 최상의 상태일지라도 완전히 다른 레이아웃 을 가진 다른 버전의 페이지를 가질 가능성이 전혀 없었을 가능성이 있습니다.

아이작 뉴턴은 어렸을 때 마상 시합을 벌였습니다. 그가 평생 다른 활동을 시도하지 않고 마상 시합 능력을 연마하는 데 보냈다고 상상해 보십시오. 그는 결국 꽤 좋은 창녀가 되었을 수도 있고, 어쩌면 훌륭할 수도 있습니다.

고맙게도, 그는 마상 책에 머리를 파묻고 평생을 보내지 않았습니다. 대신 그는 수학과 같은 매우 다양한 활동을 시도했고 역사상 가장 위대한 정신 중 한 사람으로 알려지게 되었습니다.

좋아요, Newton이 마상 시합을 했는지 모르겠습니다. 나는 그 부분을 만들었지만 요점을 설명하기 위해 너무 일찍 정제를 시작하면 처음에 근본적으로 다른 것을 시도하는 데 충분한 시간을 보내지 않았기 때문에 가능성이 높은 옵션을 놓칠 수 있습니다.

항상 추가에 관한 것은 아닙니다.

테스트할 다양한 변형을 생각해 낼 때 추가, 추가, 추가하고 싶은 유혹을 받을 수 있습니다. 이것이 항상 최선의 아이디어는 아닙니다. 단순함은 먼 길을 가고 추가함으로써 복잡성을 가중시킬 수 있습니다.

변형을 생각하고 있다면 "원본에서 무엇을 빼면 될까요?"라고 생각하세요. "무엇을 추가할 수 있습니까?"에 도달하기 전에

A/B 테스팅: 클릭을 고객으로 전환하는 가장 강력한 방법 에서 Siroker와 Koomen은 이 개념을 완벽하게 보여주는 사례 연구를 설명합니다. 그들은 소매업체가 체크아웃 깔때기의 마지막 페이지에서 프로모션 코드와 배송 옵션 양식 필드를 숨긴 Cost Plus World Market에서 실행한 테스트에 대한 이야기를 들려줍니다. 이러한 필드를 숨기고 확장 가능한 링크로 전환함으로써 방문자당 수익이 15.6% 증가했습니다. 전환율도 5.2% 증가했습니다. 그것들은 몇 가지 큰 숫자입니다.

다음은 책에 포함된 테스트 이미지입니다. 작은 변화가 어떻게 이런 영향을 미칠 수 있는지 놀랍습니다.

실패가 항상 나쁜 것은 아니다

분할 테스트를 할 때 모든 실패는 무언가를 알려야 합니다. 장미색 안경을 사용하면 모든 변형이 좋은 결과를 가져올 것이라는 아이디어를 얻을 수 있습니다. 사실은 그렇지 않은 경우가 많습니다. 그렇지 않은 경우에는 가방을 싸서 집으로 돌아가지 말고 파고들어 답을 찾아야 합니다.

웹사이트 홈 페이지를 변경하는 테스트를 실행한다고 가정해 보겠습니다. 이 변경의 주요 목표는 처음 방문자의 전환을 높이는 것입니다. 제안된 변경 사항이 작동하지 않는다는 것을 확인하는 데 오랜 시간이 걸리지 않습니다. 새 홈페이지에서 전환이 중단되었습니다.

그러나 일부 파고들면 재방문자가 귀하의 웹사이트에 더 오래 머무르고 있음을 알 수 있습니다. 새 UI에 대해 이 효과가 있습니다.

이제 처음 방문자와 신규 사용자가 사이트와 상호작용하는 방식이 다르다는 것을 알게 되었고 두 세그먼트 모두에 대한 경험을 극대화할 수 있는 도구를 갖게 되었습니다. 물론, 이 테스트는 원하는 결과를 가져오지는 않았지만 결과가 좋지는 않았습니다.

그러나 모든 테스트가 그러한 명백한 은색 라이닝을 제공하지는 않을 것입니다. 파헤친 후 작동하는 새로운 디자인에 대해 아무 것도 찾지 못했다고 가정해 보겠습니다. 새 디자인을 완전히 폐기해야 할 수도 있지만 경험을 추가 테스트의 근거로 사용하십시오.

그리고 추가 테스트를 수행할 때 과거 결과를 사용하여 해당 테스트를 알립니다. 항상 이전 테스트에서 배운 교훈을 사용하여 향후 테스트에 대한 가설을 생성할 수 있습니다.

테스트의 이점이 없었다면 조직에서 어떤 결과가 나올지 모른 채 전환했을 수 있습니다. 그것은 비즈니스를 위한 킬러였을 것입니다.

A/B 테스트 방법

따라서 몇 가지 분할 테스트 규칙을 알고 있고 테스트 계획이 있습니다.

그러나 물류는 어떻습니까? 실제로 어떻게 하나요?

여러 가지 방법이 있습니다. 자신만의 도구를 만들거나 소프트웨어 공급업체에서 구입하거나 모든 것을 처리하는 대행사를 고용할 수 있습니다.

이 세 가지 옵션을 살펴보고 어떤 옵션이 가장 적합한지 살펴보겠습니다.

스스로 만드시 오

사실 저는 여기서 별로 도움이 될 수 없습니다. 자신만의 A/B 테스트 도구를 만드는 것은 엔지니어링 집약적인 노력입니다. 따라서 이 옵션을 고려하고 있다면 여기 1단계가 있습니다. 엔지니어링 책임자에게 가서 사내에서 A/B 테스트 도구를 구축하는 것이 얼마나 그럴듯한지 물어보십시오.

엔지니어링 팀이 없습니까? 그럼 여기서 마치겠습니다. 도구를 구입하거나 에이전시를 고용하십시오.

도구 구입

구매할 수 있는 A/B 테스트 도구는 부족하지 않습니다. 이러한 도구는 유용성이 다양하지만 전문가가 아니더라도 사용하기에 충분히 간단한 것을 찾을 수 있습니다.

도구를 구입하기 전에 스스로에게 물어봐야 할 두 가지 주요 질문이 있습니다.

이미 사용하고 있는 소프트웨어와 잘 작동합니까?

구매한 도구가 콘텐츠 관리 시스템, 사용하는 기타 분석 도구, 전자 상거래 플랫폼, 기타 관련성이 있다고 생각되는 모든 것과 통합되는지 확인해야 합니다.

A/B 테스트 도구는 독립적이지 않으므로 결정을 내리기 전에 조사를 하십시오.

예산에 맞습니까?

이것은 일종의 뻔하지만 물어볼 필요가 있습니다. 도구는 비용이 다양하므로 얻은 도구가 그만한 가치가 있는지 확인해야 합니다. ROI로 테스트할 항목의 우선 순위를 정하는 것처럼 이 결정도 ROI를 기반으로 해야 합니다. 제공되는 기능, 구현 및 도구 비용을 고려할 때 비용보다 이점이 더 클까요?

그런데 그 비용이 얼마나 적은지 알면 놀랄 것입니다. A/B 테스트 기능이 있는 도구를 저렴하게 손에 넣는 것은 어렵지 않습니다. 우리는 매우 사용하기 쉬운 이메일 캠페인에서 분할 테스트를 제공합니다.

대행사 고용

이것은 아마도 분할 테스트를 수행하는 가장 쉬운 방법이지만 위험도 따릅니다. 고삐를 잡을 누군가를 고용할 때, 당신은 다소간 그들을 굴복시키는 것입니다. 도구를 구입할 때와 마찬가지로 예산과 관련하여 동일한 질문을 스스로에게 해야 하지만 이 방법은 고용할 공급자에 대해 많은 질문을 하는 것을 의미하기도 합니다.

결정을 내리기 전에 다음과 같은 몇 가지 좋은 질문을 할 수 있습니다.

• 그 과정에서 얼마나 많은 감독을 받게 될까요?
• 기관의 실적은 어떻습니까?
• 과거 전환 최적화 프로젝트의 성공 증거가 있습니까?
• 테스트가 완료된 후 어떤 종류의 보고 및 분석을 제공합니까?

의사 소통

이것은 "물류"로 제출되지 않을 수 있지만 두 가지 이유로 분할 테스트에서 의사 소통이 중요합니다.

이유 #1: 조직을 유지합니다.

조직의 규모에 따라 한 번에 여러 항목을 테스트할 수 있습니다. 그리고 이러한 것들 중 일부는 서로에게 영향을 미칠 수 있습니다.

예를 들어 홈페이지에서 이메일 가입 양식을 테스트하고 있으며 홈페이지에 대한 다른 메타 설명도 테스트하고 있다고 가정해 보겠습니다. 이메일 구독이 증가한 것을 볼 수 있지만 이는 새로운 양식이나 메타 설명에서 클릭률이 증가한 결과일 수 있습니다.

이를 해결하는 가장 좋은 방법은 테스트 리드를 지정하는 것입니다. 이 사람의 책임은 귀하가 사이트에서 수행하는 모든 테스트를 감독하고 관리하는 것입니다. 이렇게 하면 여러 테스트가 서로 영향을 미칠 가능성을 방지할 수 있을 뿐만 아니라 조직에서 테스트 관련 질문에 대한 담당자를 찾을 수 있습니다.

이유 #2: 테스트의 가치를 명확히 함

일부 조직은 테스트와 관련하여 100% 동의하지 않습니다. 의심할 여지 없이 여기에는 가치가 있지만 지식이 없는 사람은 그것이 불필요하다고 생각할 수 있습니다. 테스트 결과를 명확하게 전달함으로써 하드 숫자로 그 가치를 뒷받침할 수 있습니다.

페이지 디자인에 대해 조직의 누군가를 여러 번 판매할 수 없을 수도 있지만 더 나은 결과에 대한 논쟁은 없습니다.

테스트를 멈추지 마세요

가능성은, 당신은 결코 최상의 결과를 찾지 못할 것입니다. 테스트할 수 있는 항목은 셀 수 없이 많으며 거의 ​​모든 경우에 개선할 수 있습니다.

이 경우 A/B 테스트가 끝없는 여정임을 깨닫는 것이 중요합니다. 한 해에 효과가 좋았던 것이 다음 해에는 수익이 줄어들 수도 있습니다.

따라서 비즈니스가 지속적인 결과를 볼 수 있도록 하는 장기 테스트 계획을 개발하십시오. 내 진부한 고등학교 농구 코치가 다음과 같이 말하는 것과 같습니다. "세상에서 가장 큰 공간은 개선의 여지입니다."