심각한 실험 프로그램을 실행하기 위한 요구 사항

게시 됨: 2023-04-11

실험 프로그램을 운영하는 것은 예술이자 과학입니다. 나는 항상 그것을 말한다. 프로그램에는 시스템, 프로세스 및 절차를 의미하는 일정 수준의 엄격함이 있어야 합니다. 가볍게 볼 일이 아닙니다. 누구나 최소한의 준비와 계획만으로 내일 프로그램을 시작할 수 있다고 믿는 것은 잘못입니다. 하지만 불행히도 그런 일이 항상 일어납니다. 당연히 많은 돈, 시간 및 노력이 낭비됩니다. 이것은 나를 준비 주제로 이끈다.

실험에 대해 진지하게 생각하고 시장에서 경쟁력을 높이고 싶다면 잘하는 것이 좋습니다. 경쟁업체가 잘하고 있다고 가정해야 합니다. 따라서 이것이 마음에 든다면 계속 읽으십시오. 그러면 즉시 사용할 황금 덩어리를 한두 개 선택할 수 있을 것입니다.

당신을 성공시키거나 망칠 실험 프로그램을 구축하기 위한 피할 수 없는 선구자: 테스트 전 계산

사전 테스트 계산. 그들에 대해 들어 본 적이 있습니까? 해봤어? MDE 또는 감지 가능한 최소 효과가 친숙하게 들리나요? 기간 추정치 또는 샘플 크기는 어떻습니까? 나는 당신들 대다수가 돈을 걸지 않을지라도 내가 말하는 것을 당신이 알고 있기를 바랍니다. 단순히 고객과의 개인적인 경험 때문입니다.

실험과 관련된 작업을 수행하기 전에 데이터 양이 충분한지 확인하십시오. 사전 테스트 계산을 통해 전혀 테스트할 수 있는지 확인하십시오. 데이터 양이란 방문자와 전환을 의미합니다. 방문자는 일반적으로 사용하는 모든 것이 될 수 있습니다(예: 세션, 사용자, MAU 등). 전환은 테스트에서 사용할 기본 측정항목에서 발생합니다. 이것을 알아라:

모든 기업이 모든 용량에서 실험을 수행하기에 충분한 데이터 볼륨을 가지고 있는 것은 아닙니다.
할 수 있다면 허공에서 원하는 속도를 선택하는 것이 아니라는 점을 알아두십시오. 계산에 기반합니다.

이 포인트 중 하나 또는 둘 모두를 무시하는 #1 범인: 판매원. 어떤 종류의 도구를 구입하려는 경우 이것이 대화의 일부인지 확인하십시오. 실험 프로그램을 갖기 위한 진입에 대한 최소 장벽: 하나의 스윔 레인에서 8주 이내에 하나의 테스트를 실행할 수 있는 충분한 데이터 볼륨.

몇 달 전에 Experiment Nation에서 이 주제를 자세히 다루었습니다. 당신이 이 주제를 이해하지 못하고 첫날부터 그것을 한다면, 그것은 당신을 괴롭힐 것이고 결국 어떤 종류의 바람직하지 않은 결과를 확실히 초래할 것이라는 것을 아십시오. 또 다른 매우 중요한 참고 사항: 테스트 도구(또는 사용하려는 도구)가 고정 수평 테스트 또는 순차 테스트를 기반으로 구축되었는지 확인하십시오. 이는 계산 및 프로그램 실행 방법에 영향을 미칩니다.

1단계(Post-precursor): 측정 및 데이터 품질

사전 테스트 계산 장애물을 제거하고 테스트하기에 충분한 데이터 볼륨이 있음을 확인한 경우 앞으로 나아가기 위한 다음 장애물은 측정 및 데이터 품질입니다. 이 작업에서 목표로 하는 것이 무엇인지 알아야 합니다 . 그렇지 않으면 강둑의 물고기처럼 허물어질 것입니다. 너무 많은 팀이 양식 제출, 거래, 수익, LTV 등과 같이 자신이 무엇을 위해 노력하고 있는지 모릅니다.

실험 및 비즈니스 전반에 대한 기본, 보조 및 삼차 메트릭이 무엇인지 이해하십시오. 완전히 명확하게 이해하십시오. 지속적인 혼란이나 불확실성을 허용하지 마십시오. 모든 사람이 같은 페이지에 있는지 확인하십시오.

그런 다음 그 정도의 데이터를 확보한 후에는 해당 데이터를 올바른 위치에서 수집하고 있으며 신뢰할 수 있는지 확인하십시오.

측정 및/또는 데이터 품질이 재앙이라면 그냥 멈추십시오. 모든 것을 멈추고 그것을 바로잡는 데 모든 노력을 기울이십시오. 실험을 피라미드로 생각하십시오. 이 두 가지는 피라미드의 기본 레이어입니다. 어느 시점에서 금이 가면 다른 모든 것이 그 위에 무너질 것입니다. 약속합니다.

나는 이것이 어려울 수 있다는 것을 알고 있다고 말할 것입니다. 올바른 작업을 수행하는 데 시간이 더 걸릴 수 있습니다. 어쩌면 한두 달 이상일 수도 있습니다. 그것들을 올바르게 만드는 것은 그만한 가치가 있습니다. 프로그램을 시작한 후 6개월 이상 문제가 발생하는 것을 보았습니다. 아무도 그 시점에서 행복하지 않습니다.

기본 메트릭이 무엇이어야 하는지에 대한 참고 사항...

이것은 때때로 실무자들 사이에서 분열적인 주제입니다. 나는 특히 마케팅 팀과 웹사이트(반드시 제품 팀과 제품이 아닐 수도 있음)와 관련하여 이 문제에 대해 매우 확고한 입장을 가지고 있습니다.

기본 측정항목은 항상 하위 유입경로 측정항목이어야 합니다. 명령. 양식 제출. MQL. 수익. LTV. SQL. 당신은 아이디어를 얻습니다. 어떤 사람들은 그들이 항상 당신이 만들고 있는 변화나 참여 지표에 가장 가까운 행동이어야 한다고 말합니다. 잘못된. 아뇨. 잘못된. 학사. 이것을 말하는 사람은 6개월 또는 1년 안에 회사의 CMO 또는 CEO에게 프로그램의 정당성을 입증해야 합니다. 그들은 뜨거운 자리에있을 것입니다. 버튼 클릭, 클릭 연결, 페이지뷰, 평균에 초점을 맞춘 테스트로 가득 찬 프로그램을 갖지 마십시오. 세션 시간, 이탈률, 이탈률, 비디오 조회수 등. 그것은 이 작업을 수행하는 데 사용되는 수천 또는 수십만 달러를 정당화하지 못할 것입니다. 누구나 자신의 ROI와 작업이 수익에 어떤 영향을 미쳤는지 알고 싶어합니다. 버튼 클릭은 그렇게 하지 않을 것입니다.

참여 측정항목이나 더 높은 퍼널 측정항목을 측정하지 말라는 말이 아니라 2차 또는 3차 측정항목이어야 합니다. 기본이 아닙니다. 테스트 스토리에 컨텍스트를 추가합니다. 결정을 내릴 때가 왔을 때 어떤 테스트에 달려 있는지가 아닙니다. 참고로 예외가 절대 없다는 말은 아닙니다. 여전히 사례별로 테스트를 평가합니다.

조언 한마디: 여러분끼리 이 주제에 대해 토론하는 사람들에게 저는 항상 팀들에게 옵션을 논의하고 스스로 결정하라고 말합니다. 모든 사람이 앞으로 나아가면서 준수한다는 집단적 결론에 도달했는지 확인하십시오.

2단계: 사용자 조사 및 아이디어 구상

이 시점에서 (1) 테스트하기에 충분한 데이터 볼륨이 있는지, (2) 무엇을 측정하고 있는지, 신뢰할 수 있는 적절한 데이터를 수집하고 있는지 알아야 합니다. 다음은 무엇입니까? 무엇을 테스트할지가 떠오릅니다. 테스트 아이디어는 무엇입니까? 그것들을 어떻게 생성할 건가요?

대부분의 팀이 무엇을 하는지 아세요? 그들은 직감과 많은 "우리는 생각한다", "우리는 느낀다", "우리는 믿는다"에서 벗어납니다. 그것은 너무 주관적이며 프로그램을 실행하는 끔찍한 방법입니다. 이러한 접근 방식은 전혀 데이터 기반이 아닙니다. 그것은 실무자들이 "스파게티 테스트"라고 부르는 것입니다. 일명 벽에 물건을 던지고 그것이 달라붙기를 바라는 것입니다. 데이터 기반 대화는 그런 종류의 언어를 많이 포함하지 않으며 필요한 데이터는 사용자 조사에서 나옵니다. 나는 항상 "연구"가 무엇을 의미하는지 묻는다.

분석, 투표, 설문 조사, 사용자 테스트, 메시지 테스트, 히트맵, 세션 기록, 카드 정렬, 트리 테스트, 고객 여정 매핑, 페르소나 등을 포함하되 이에 국한되지 않는 여러 가지 데이터 수집 방법론이 있습니다. 또한 이들 각각을 완료하는 데 도움이 되는 몇 가지 도구가 있습니다. 나는 항상 하나 또는 둘로 시작하여 거기에서 다른 것으로 작업하라고 말합니다. 그것은 확실히 아무것도 아닌 것보다 낫습니다. 요즘에는 모든 회사에 분석 데이터가 있기 때문에 기술적으로는 더 이상 분석을 중요하게 생각하지 않습니다. 그것이 없으면 더 큰 생선을 튀길 가능성이 있습니다. 만약 당신이 그것을 가지고 있다면, 그 이상으로 한두 가지를 위해 노력하십시오(그리고 "오, 우리는 잘하고 있습니다"라고 말하지 마십시오).

휴리스틱 평가라는 방법론이 있습니다. 누군가 경험을 시각적으로 평가하고 자신의 경험과 전문 지식을 기반으로 통찰력을 개발하는 경우입니다. 시간과 장소가 있지만 대부분의 경우 "하드 데이터"로 뒷받침되지 않습니다. 그것은 상당히 주관적이며 누가 완성하느냐에 따라 어느 정도 다를 것입니다. 프로그램이 이러한 유형의 통찰력을 기반으로 해서는 안 됩니다.

여기에서 연구를 수행하는 방법을 자세히 다루지는 않겠지만 여기에서 CXL의 ResearchXL 모델에 대해 자세히 이야기하는 VWO 웨비나 중 하나를 확인할 수 있습니다.

3단계: 우선순위 지정

테스트 아이디어 목록이 있으면 한 번에 모두 할 수 없습니다. 실행 계획을 세우려면 전략적이고 논리적인 방법이 필요합니다. 여기에서 우선 순위 지정 프레임워크가 작동합니다. 많이 존재합니다. 저는 특히 CXL의 PXL 프레임워크를 좋아합니다. 다른 일반적인 것에는 PIE, ICE 또는 PILL이 포함됩니다. 제 생각에는 PXL이 가장 객관적입니다. 사용자 정의가 가능하고 더 강력합니다(좋은 의미에서).

다른 모델은 괜찮고 아무것도 없는 것보다 낫습니다. 당신이 무언가를 가지고 있고 그것이 당신을 위해 일하고 있다면 좋습니다. 하나만 가지고 모두가 그것을 사용하고 있는지 확인하십시오! 추가 혼돈을 처리하지 않아도됩니다.

4단계: 로드맵 작성

로드맵은 주어진 시간에 무엇이 실행되고 있는지 시각적으로 보여줍니다. 우선 순위 지정 및 사전 테스트 계산과 호황을 결합하십시오. 로드맵이 있습니다. Gantt 차트에서 가장 잘 수행됩니다. 예상 기간, 장치 및 기타 유용한 메타데이터와 함께 모든 스윔 레인 및 테스트를 추가합니다. 원치 않는 중복 및 원치 않는 상호 작용 효과를 피할 수 있습니다. 모든 사람이 훨씬 더 효과적이고 효율적으로 계획하는 데 도움이 됩니다. 이것은 더 많은 혼란에서 당신을 구할 것입니다.

5단계 및 그 이후: 평소와 같이 비즈니스

이제 우리가 다룬 내용이 모두 종료되었으므로 평소와 같이 업무를 수행합니다. 실행할 테스트가 준비되어 있습니다. 모형 > 디자인 > 개발 > QA > 시작 > 모니터링 > 결론 > 분석 > 공유 및 보관 > 반복과 같은 일반 실험 워크플로를 통해 보냅니다.

결론

실험을 시작하기 위해 할 수 있는 일이나 이미 실행 중인 프로그램의 수준을 높이기 위해 할 수 있는 일에 대해 약간(또는 많이) 더 자신감을 가져야 합니다. 너무 어렵다거나 너무 쉽다고 생각하지 마세요. 보통 중간 어딘가에 있습니다. 내가 언급한 모든 것에 적용할 수 있는 가장 큰 권장 사항은 쿼터백을 두는 것입니다. 이 모든 일을 이끌어가는 사람이 있습니다. 정규직일 필요는 없지만 누군가가 소유해야 합니다. 보통 그때가 가장 큰 성공을 보았을 때입니다.

결론적으로 엄격함, 결과 및 약간의 재미가 가득한 실험 프로그램이 있기를 바랍니다. 결국 비즈니스에 큰 변화를 가져올 수 있는 재미있고 신나는 작업입니다.

실험이 어떻게 혁신과 성장을 주도하고 모든 과대 광고의 가치가 있는지 자세히 알고 싶다면 VWO와 함께하는 최신 웨비나를 시청하세요.