Como se preparar para o sucesso nos testes A / B

Publicados: 2021-06-15

Uma coisa que adoro no e-mail são os dados. Por estar tão disponível, é fácil executar testes de divisão e ver o desempenho do e-mail em tempo real. Você sempre me encontrará estudando planilhas e atualizando dados constantemente, como se estivesse assistindo a uma disputa acirrada.

Mas nada disso importa se o teste A / B não estiver configurado corretamente.

Sem uma base sólida, os resultados do teste A / B não são confiáveis ​​e podem levá-lo na direção errada. E isso pode custar a você engajamento, conversões e, por fim, assinantes e clientes. Portanto, antes de pensar em seu próximo teste, certifique-se de estar preparado para o sucesso para obter os insights de que precisa para conduzir sua estratégia de marketing.

E quem melhor para falar sobre os testes A / B do que nosso especialista em testes residente e gerente de crescimento sênior, John Kim? John executa a maior parte dos testes de conversão em nosso site e me ensinou um pouco a aprimorar minhas próprias habilidades. E agora você aprenderá com ele também.

Quais são as coisas principais que você precisa fazer para executar um teste A / B com êxito?

Não importa onde você está testando (por exemplo, e-mail, site, anúncio no aplicativo ou pago), o básico permanece o mesmo. Acerte-os e você está no caminho certo para obter resultados nos quais pode confiar e a partir dos quais pode agir.

Saiba o que você está testando

Antes de executar o teste A / B, é fundamental entender exatamente o que você está planejando testar. No Litmus, temos uma série de critérios que documentamos para cada teste A / B para garantir que maximizamos nossas chances de sucesso e aprendizado.

Hipótese

Talvez o elemento mais vital de seu teste A / B - uma boa hipótese - seja uma resposta a um problema que você está tentando resolver.

Sua hipótese deve ser clara, focada e feita com alguma evidência subjacente ou limitada. Simplificando, é um palpite de como você pode resolver um problema de negócios complexo. É importante que sua hipótese seja claramente definida porque seu experimento será projetado para testá-la.

Comece a escrever sua hipótese! Em nosso caso, eles geralmente são escritos usando uma instrução if-then .

Exemplo: se alterarmos a cor de nosso botão padrão para laranja em vez de verde, veremos um aumento nos cliques.

Meta

O próximo elemento que gostamos de documentar antes de executar qualquer experimento é o objetivo do experimento. Em última análise, o que você está tentando realizar para sua empresa?

Seja claro sobre o que o sucesso significa para você.

Exemplo: Nosso objetivo é aumentar os cliques no botão para, por sua vez, aumentar as conversões na próxima página, resultando em um número maior de inscrições de teste ou ativações em geral.

Métricas

Antes de executar seu experimento, é importante saber o que você irá monitorar para suas métricas primárias. Considerando sua hipótese e objetivo, seja claro sobre qual ou duas métricas você usará para determinar o sucesso quando se trata de seus objetivos declarados anteriormente.

Esta etapa é importante porque você vai querer ter certeza de:

  1. Saiba quais métricas são importantes para você
  2. Ter a capacidade de monitorar e atribuir essa atividade de volta a um determinado usuário e coorte (seu teste e controle de públicos retirados de seu público geral).
  3. Entenda suas métricas secundárias. Além das métricas primárias, é importante monitorar como os usuários interagem com o resto da sua experiência.

Guarda-corpos

As diferentes maneiras como qualquer teste pode afetar seus negócios podem ser uma surpresa.

O que fazemos nesta etapa é documentar todas as métricas e canais que o próximo teste A / B pode impactar positiva ou negativamente.

É importante fazer este exercício para que possamos:

  1. Minimize as surpresas para qualquer teste
  2. Pese (da melhor forma possível) os benefícios potenciais versus os riscos / guarda-corpos.

Nossa equipe compromete um esforço significativo na preparação para os testes. Entramos em cada teste com expectativas realistas, limites de sucesso e fracasso, e estamos preparados para uma infinidade de resultados.

Acesse métricas de e-mail não tão típicas no Litmus Analytics

Métricas de e-mail padrão como taxa de abertura, taxa de cliques, taxa de cancelamento de assinatura e muito mais podem dizer muito. Entenda como seu público está interagindo com seus e-mails com detalhes como cliente de e-mail, taxa de leitura e muito mais.

Obtenha mais dados de e-mail →

Teste de divisão e trilha

O teste A / B ou teste de divisão é um recurso amplamente disponível e oferecido com a maioria dos provedores de serviço de e-mail (ESPs) e plataformas de automação de marketing. Se você deseja fazer testes em seu site de marketing ou aplicativo, ferramentas como VWO ou Optimizely também oferecem soluções.

Quando se trata de selecionar seu público, determine o número de pessoas que você precisa de seu público para fazer o teste geral para estabelecer a significância estatística, ou a probabilidade de que a diferença nas taxas de conversão entre o grupo A e o grupo B não seja devido ao acaso . Você vai querer separar uma parte de seu público geral para dividir 50/50 nesses grupos, se tiver um público grande o suficiente. Aqui no Litmus, encontramos várias ferramentas para ajudar ao longo dos anos. Um dos nossos favoritos é a calculadora de testes A / B de Neil Patel.

Depois de determinar quantas pessoas precisam estar em seu público de teste, metade dele não deve ter nenhuma alteração aplicada à sua experiência. Este grupo será o seu grupo de controle. Da melhor forma possível, a experiência deles deve ser semelhante ao que você considera ser sua linha de base ou experiência típica. A outra metade do seu público será sua coorte variante. Para os usuários neste grupo, aplique o tratamento de teste.

Os testes A / B são geralmente analisados ​​em nível de coorte. Significado — avaliamos se a coorte que recebeu a experiência de tratamento foi significativamente diferente da coorte de Controle.

É vital que colocar um membro da audiência em um determinado grupo seja aleatório e que cada um receba apenas um único tratamento. Se formos considerar a composição de cada uma das coortes (teste e controle), queremos garantir que não introduzamos qualquer tendência em relação a um determinado grupo demográfico, firmográfico ou qualquer outra característica do usuário para um único coorte. Randomizar seus coortes e ter menos variantes garante melhor que seus coortes representem uma seleção aleatória de seu público.

Empacotando

Os testes A / B não precisam ser difíceis, mas se você não configurá-los corretamente, os insights que obter deles não significarão muito. Compreender os fundamentos que exploramos aqui irá prepará-lo para o sucesso, para que possa aplicar o que aprendeu a toda a sua estratégia de marketing. Lembre-se, dê um passo para trás para pensar em cada elemento e você estará no caminho certo. Fique ligado em nosso blog sobre testes A / B de marketing por e-mail, onde mergulharemos mais a fundo em testar nosso canal favorito.

Mais dados. Mais percepções.

Obtenha mais dados de e-mail - mais insights - quando você vai além das métricas de e-mail padrão. Acesse a taxa de leitura, taxa de avanço e muito mais com o poder do Litmus Email Analytics, integrado ao Litmus Plus.

Experimente Litmus Plus gratuitamente →