O guia completo para testes A/B: dicas de especialistas do Google, HubSpot e muito mais

Publicados: 2020-04-10

Esta provavelmente não é a primeira vez que você lê sobre testes A/B. Você pode até já testar suas linhas de assunto de e-mail ou suas postagens de mídia social.

Apesar do fato de muito ter sido dito sobre testes A/B no campo do marketing, muitas pessoas ainda entendem errado. O resultado? Pessoas que tomam grandes decisões de negócios com base em resultados imprecisos de um teste impróprio.

O teste A/B geralmente é simplificado, especialmente em conteúdo escrito para proprietários de lojas. Abaixo, você encontrará tudo o que precisa saber para começar com diferentes tipos de testes A/B para comércio eletrônico, explicados da maneira mais clara possível.

Índice

  • O que é teste A/B?
  • Como funciona o teste A/B
  • O que é teste A/B/n?
  • Por quanto tempo os testes A/B devem ser executados?
  • Por que você deve fazer um teste A/B?
  • O que você deve fazer o teste A/B?
  • Priorizando ideias de teste A/B
  • Um curso intensivo em estatísticas de testes AB
  • Como configurar um teste A/B
  • Como analisar os resultados do teste A/B
  • Como arquivar testes A/B anteriores
  • Processos de teste A/B dos profissionais
  • Otimize os testes A/B para o seu negócio

O que é teste A/B?

O teste A/B, às vezes chamado de teste de divisão, é o processo de comparar duas versões da mesma página da Web, e-mail ou outro ativo digital para determinar qual delas tem melhor desempenho.

Esse processo permite que você responda a importantes perguntas de negócios, ajuda a gerar mais receita com o tráfego que você já possui e estabelece as bases para uma estratégia de marketing informada por dados.

Saiba mais: Como conduzir uma análise SWOT para o seu negócio

Como funciona o teste A/B

Ao usar o teste A/B no contexto de marketing, você mostra 50% dos visitantes da versão A do seu ativo (vamos chamar isso de “controle”) e 50% dos visitantes da versão B (vamos chamar isso de “variante”).

A versão que resultar na maior taxa de conversão vence. Por exemplo, digamos que a variante (versão B) gerou a maior taxa de conversão. Você então a declararia vencedora e empurraria 100% dos visitantes para a variante.

Em seguida, a variante se torna o novo controle e você deve projetar uma nova variante.

Vale a pena mencionar que uma taxa de conversão de teste A/B é uma medida imperfeita de sucesso. Por quê? Você pode aumentar sua taxa de conversão instantaneamente, tornando tudo em sua loja grátis. Claro, essa é uma decisão de negócios terrível.

É por isso que você deve acompanhar o valor de uma conversão até o som de uma caixa registradora.

Lista de leitura gratuita: otimização de conversão para iniciantes

Transforme mais visitantes do site em clientes fazendo um curso intensivo de otimização de conversão. Acesse nossa lista gratuita e selecionada de artigos de alto impacto abaixo.

O que é teste A/B/n?

Com o teste A/B/n, você pode testar mais de uma variante em relação ao controle. Assim, em vez de mostrar o controle a 50% dos visitantes e a variante a 50% dos visitantes, você pode mostrar o controle a 25% dos visitantes, a primeira variante a 25%, a segunda variante a 25% e a terceira variante a 25%.

Observação: isso é diferente do teste multivariado, que também envolve várias variantes. Ao executar testes multivariados, você não está apenas testando várias variantes, mas também vários elementos, como teste A/B UX ou teste A/B de SEO. O objetivo é descobrir qual combinação tem melhor desempenho.

Teste multivariado
Fonte da imagem: Google .

Você precisará de muito tráfego para executar testes multivariados, portanto, pode ignorá-los por enquanto.

Por quanto tempo os testes A/B devem ser executados?

Execute seu teste A/B por pelo menos um, idealmente dois, ciclos de negócios completos. Não pare seu teste só porque você alcançou significância. Você também precisará atender ao tamanho de amostra predeterminado. Por fim, não se esqueça de executar todos os testes em incrementos de uma semana inteira.

Por que dois ciclos de negócios completos? Para iniciantes:

  1. Você pode contabilizar compradores do tipo “preciso pensar nisso”.
  2. Você pode contabilizar todas as diferentes fontes de tráfego (Facebook, newsletter por e-mail, pesquisa orgânica, etc.)
  3. Você pode contabilizar anomalias. Por exemplo, seu boletim informativo por e-mail de sexta-feira.

Se você já usou algum tipo de ferramenta de teste A/B ou de página de destino, provavelmente está familiarizado com o pequeno ícone verde “Estatisticamente Significativo”.

Para muitos, infelizmente, esse é o sinal universal para “o teste está pronto, chame-o”. Como você aprenderá mais abaixo, só porque a significância estatística do teste A/B foi alcançada não significa que você deva interromper o teste.

E seu tamanho de amostra predeterminado? Não é tão intimidante quanto parece. Abra uma calculadora de tamanho de amostra, como esta de Evan Miller.

Calculadora de tamanho de amostra

Esse cálculo está dizendo que, se sua taxa de conversão atual for de 5% e você quiser detectar um efeito de 15%, precisará de uma amostra de 13.533 por variação. Portanto, no total, são necessários mais de 25.000 visitantes se for um teste A/B padrão.

Veja o que acontece se você quiser detectar um efeito menor:

Calculadora de tamanho de amostra

Tudo o que mudou é o efeito mínimo detectável (MDE). Diminuiu de 15% para 8%. Nesse caso, você precisa de uma amostra de 47.127 por variação. Portanto, no total, são necessários quase 100.000 visitantes se for um teste A/B padrão.

Se você está testando A/B UX ou SEO, o tamanho da amostra deve ser calculado antecipadamente, antes do início do teste. Seu teste não pode parar, mesmo que alcance significância, até que o tamanho de amostra predeterminado seja alcançado. Se isso acontecer, o teste não é válido.

É por isso que você não pode seguir práticas recomendadas à toa, como “parar após 100 conversões”.

Também é importante executar testes para incrementos de uma semana inteira. Seu tráfego pode mudar com base no dia da semana e na hora do dia, portanto, inclua todos os dias da semana.

Por que você deve fazer um teste A/B?

Digamos que você gaste US$ 100 em anúncios do Facebook para enviar 10 pessoas ao seu site. O valor médio do seu pedido é de US$ 25. Oito desses visitantes saem sem comprar nada e os outros dois gastam US$ 25 cada. O resultado? Você perdeu $ 50.

Agora, digamos que você gaste US$ 100 em anúncios do Facebook para enviar 10 pessoas ao seu site. O valor médio do seu pedido ainda é de US$ 25. Desta vez, porém, apenas cinco desses visitantes saem sem comprar nada e os outros cinco gastam US$ 25 cada. O resultado? Você fez $ 25.

Este é um dos exemplos de teste A/B mais simples, é claro. Mas ao aumentar a taxa de conversão no site, você tornou o mesmo tráfego mais valioso.

Imagens e textos de teste A/B também ajudam você a descobrir insights, independentemente de seu teste vencer ou perder. Este valor é muito transferível. Por exemplo, um insight de redação de um teste A/B de descrição de produto pode ajudar a informar sua proposta de valor, um vídeo de produto ou outras descrições de produtos.

Você também não pode ignorar o valor inerente de se concentrar em melhorar continuamente a eficácia de sua loja.

Você deve fazer um teste A/B?

Não necessariamente. Se você estiver executando um site de baixo tráfego ou um aplicativo da Web ou para dispositivos móveis, o teste A/B provavelmente não é o melhor esforço de otimização para você. Você provavelmente verá um maior retorno sobre o investimento (ROI) ao realizar testes com usuários ou conversar com seus clientes, por exemplo.

Apesar da crença popular, a otimização da taxa de conversão não começa e termina com testes.

Considere os números da calculadora de tamanho de amostra acima. 47.127 visitantes por variação para detectar um efeito de 8% se sua taxa de conversão de linha de base for de 5%. Digamos que você queira testar uma página de produto. Recebe cerca de 100.000 visitantes em duas a quatro semanas?

Por que duas a quatro semanas? Lembre-se, queremos executar testes por pelo menos dois ciclos de negócios completos. Normalmente, isso funciona em duas a quatro semanas. Agora, talvez você esteja pensando: “Sem problemas, Shanelle, vou fazer o teste por mais de duas a quatro semanas para atingir o tamanho de amostra necessário”. Isso também não vai funcionar.

Veja bem, quanto mais tempo um teste estiver em execução, mais suscetível ele será a ameaças de validade externa e poluição da amostra. Por exemplo, os visitantes podem excluir seus cookies e acabar entrando novamente no teste A/B como um novo visitante. Ou alguém pode mudar do celular para o desktop e ver uma variação alternativa.

Essencialmente, deixar seu teste rodar por muito tempo é tão ruim quanto não deixá-lo rodar o suficiente.

O teste vale o investimento para lojas que podem atender ao tamanho de amostra necessário em duas a quatro semanas. As lojas que não podem devem considerar outras formas de otimização até que seu tráfego aumente.

Julia Starostenko, cientista de dados da Shopify, concorda, explicando:

Tiro na cabeça do especialista

Julia Starostenko, Shopify

“Experimentar é divertido! Mas é importante certificar-se de que os resultados são precisos.

“Pergunte a si mesmo: seu público é grande o suficiente? Você coletou dados suficientes? Para alcançar uma significância estatística verdadeira (dentro de um prazo razoável), o tamanho do público precisa ser grande o suficiente.”

O que você deve fazer o teste A/B?

Eu não posso te dizer o que você deve fazer o teste A/B. Eu sei eu sei. Certamente tornaria sua vida mais fácil se eu pudesse lhe dar uma lista de 99 coisas para testar agora. Não faltam profissionais de marketing dispostos a fazer isso em troca dos cliques.

A verdade é que os únicos testes que valem a pena serem executados são os baseados em seus próprios dados. Eu não tenho acesso aos seus dados, seus clientes, etc., e nem ninguém faz a curadoria dessas listas enormes de ideias de teste A/B. Nenhum de nós pode dizer significativamente o que testar.

Os únicos testes que valem a pena serem executados são os baseados em seus próprios dados.

Em vez disso, encorajo você a responder a essa pergunta por si mesmo por meio de análises qualitativas e quantitativas. Alguns exemplos populares de testes A/B são:

  • Análise técnica. Sua loja carrega corretamente e rapidamente em todos os navegadores? Em cada dispositivo? Você pode ter um iPhone 11 novinho em folha, mas alguém em algum lugar ainda está usando um Motorola Razr de 2005. Se o seu site não funciona corretamente e rapidamente, ele definitivamente não converte tão bem quanto poderia.
  • Pesquisas no local. Eles aparecem à medida que os visitantes da sua loja navegam. Por exemplo, uma pesquisa no site pode perguntar aos visitantes que estão na mesma página há algum tempo se há algo que os impede de fazer uma compra hoje. Se assim for, o que é? Você pode usar esses dados qualitativos para melhorar sua cópia e taxa de conversão.
  • Entrevistas com clientes. Nada pode substituir pegar o telefone e falar com seus clientes. Por que eles escolheram sua loja em vez de lojas concorrentes? Que problema eles estavam tentando resolver quando chegaram ao seu site? Há um milhão de perguntas que você pode fazer para chegar ao cerne de quem são seus clientes e por que eles realmente compram de você.
  • Pesquisas de clientes. As pesquisas com clientes são pesquisas completas que são enviadas para pessoas que já fizeram uma compra (em oposição aos visitantes). Ao projetar uma pesquisa, você deseja se concentrar em: definir seus clientes, definir seus problemas, definir as hesitações que eles tiveram antes de comprar e identificar palavras e frases que eles usam para descrever sua loja.
  • Análise analítica. Suas ferramentas de análise estão rastreando e relatando seus dados corretamente? Isso pode parecer bobo, mas você ficaria surpreso com quantas ferramentas de análise estão configuradas incorretamente. A análise do Analytics trata de descobrir como seus visitantes se comportam. Por exemplo, você pode se concentrar no funil. Onde estão seus maiores vazamentos de funil de conversão? Em outras palavras, onde a maioria das pessoas está saindo do seu funil? Esse é um bom lugar para começar a testar.
  • Teste do usuário. É aqui que você assiste pessoas reais em um experimento pago e controlado tentando realizar tarefas em seu site. Por exemplo, você pode pedir para eles encontrarem um videogame na faixa de US$ 40 a US$ 60 e adicioná-lo ao carrinho. Enquanto realizam essas tarefas, eles narram seus pensamentos e ações em voz alta.
  • Repetições da sessão. Os replays de sessão são semelhantes aos testes do usuário, mas agora você está lidando com pessoas reais com dinheiro real e intenção real de comprar. Você verá como seus visitantes reais navegam em seu site. O que eles têm dificuldade em encontrar? Onde eles se frustram? Onde eles parecem confusos?

Existem outros tipos de pesquisa também, mas comece escolhendo a melhor metodologia de teste A/B para você. Se você passar por alguns deles, terá uma enorme lista de ideias informadas por dados que valem a pena testar. Eu garanto que sua lista lhe trará mais valor do que qualquer artigo de “99 coisas para testar agora” jamais poderia.

Priorizando ideias de teste A/B

Uma lista enorme de ideias para testes A/B é empolgante, mas não é exatamente útil para decidir o que testar. Onde você começa? É aí que entra a priorização.

Existem algumas estruturas de priorização comuns que você pode usar:

  • GELO. ICE significa impacto, confiança e facilidade. Cada um desses fatores recebe uma classificação de 1 a 10. Por exemplo, se você pudesse facilmente executar o teste sozinho sem a ajuda de um desenvolvedor ou designer, você poderia dar um oito para facilidade. Você está usando seu julgamento aqui e, se tiver mais de uma pessoa executando testes, as classificações podem se tornar muito subjetivas. Ajuda ter um conjunto de diretrizes para manter todos objetivos.
  • TORTA. PIE significa potencial, importância e facilidade. Novamente, cada fator recebe uma classificação de 1 a 10. Por exemplo, se o teste atingir 90% do seu tráfego, você pode dar importância a um oito. O PIE é tão subjetivo quanto o ICE, portanto, as diretrizes também podem ser úteis para essa estrutura.
  • PXL. PXL é a estrutura de priorização do CXL. É um pouco diferente e mais personalizável, forçando decisões mais objetivas. Em vez de três fatores, você encontrará perguntas sim/não e uma pergunta de fácil implementação. Por exemplo, a estrutura pode perguntar: “O teste foi projetado para aumentar a motivação?” Se sim, recebe 1. Se não, recebe 0. Você pode aprender mais sobre esse framework e baixar a planilha aqui.

Agora você tem uma ideia de por onde começar, mas também pode ajudar a categorizar suas ideias. Por exemplo, durante algumas pesquisas de conversão que fiz recentemente, usei três categorias: implementar, investigar e testar.

  • Implemento. Apenas faça. Está quebrado ou óbvio.
  • Investigar. Requer um pensamento extra para definir o problema ou estreitar em uma solução.
  • Teste. A ideia é sólida e os dados informados. Teste-o!

Entre essa categorização e priorização, você está definido.

Um curso intensivo em estatísticas de testes A/B

Antes de executar um teste, é importante pesquisar estatísticas. Eu sei, estatística geralmente não é uma das favoritas dos fãs, mas pense nisso como o curso obrigatório que você relutantemente faz para se formar.

As estatísticas são uma grande parte do teste A/B. Felizmente, as ferramentas de teste A/B e o software de teste A/B tornaram o trabalho de um otimizador mais fácil, mas uma compreensão básica do que está acontecendo nos bastidores é crucial para analisar os resultados do teste posteriormente.

Alex Birkett, gerente de marketing de crescimento da HubSpot, explica:

Tiro na cabeça do especialista

Alex Birkett, HubSpot

“Estatística não é um número mágico de conversões ou um binário 'Sucesso!' ou 'Falha' coisa. É um processo usado para tomar decisões sob incerteza e reduzir o risco, tentando reduzir a nebulosidade sobre qual será o resultado de uma determinada decisão.

“Com isso em mente, acho que é mais necessário saber o básico: o que é média, variância, amostragem, desvio padrão, regressão à média e o que constitui uma amostra 'representativa'. Além disso, ajuda quando você está começando com testes A/B para configurar algumas proteções específicas para mitigar o máximo possível de erros humanos.”

O que significa?

A média é a média. Seu objetivo é encontrar uma média que seja representativa do todo.

Por exemplo, digamos que você esteja tentando encontrar o preço médio dos videogames. Você não vai somar o preço de todos os videogames do mundo e dividi-lo pelo número de todos os videogames do mundo. Em vez disso, você isolará uma pequena amostra representativa de todos os videogames do mundo.

Você pode acabar encontrando o preço médio de algumas centenas de videogames. Se você selecionou uma amostra representativa, o preço médio desses duzentos videogames deve ser representativo de todos os videogames do mundo.

O que é amostragem?

Quanto maior o tamanho da amostra, menos variabilidade haverá, o que significa que a média é mais provável de ser precisa.

Então, se você aumentasse sua amostra de duzentos videogames para dois mil videogames, você teria menos variância e uma média mais precisa.

O que é variância?

A variação é a variabilidade média. Essencialmente, quanto maior a variabilidade, menos precisa será a média na previsão de um ponto de dados individual.

Então, quão perto está a média do preço real de cada videogame individual?

O que é significância estatística?

Supondo que não haja diferença entre A e B, com que frequência você verá o efeito apenas por acaso?

Quanto menor o nível de significância estatística, maior a chance de que sua variação vencedora não seja vencedora.

Simplificando, um nível de significância baixo significa que há uma grande chance de seu “vencedor” não ser um verdadeiro vencedor (isso é conhecido como falso positivo).

Esteja ciente de que a maioria das ferramentas de teste A/B e softwares de teste A/B de código aberto chamam a significância estatística sem esperar que um tamanho de amostra ou ponto no tempo predeterminado seja alcançado. É por isso que você pode notar seu teste alternando entre estatisticamente significativo e estatisticamente insignificante.

Peep Laja, fundador do CXL Institute, quer que mais pessoas realmente entendam a significância estatística do teste A/B e por que é importante:

Tiro na cabeça do especialista

Peep Laja, Instituto CXL

“A significância estatística não é igual à validade – não é uma regra de parada. Quando você atinge 95% de significância estatística ou mais, isso significa muito pouco antes que duas outras condições mais importantes sejam atendidas:

“1. Há tamanho de amostra suficiente, que você descobre usando calculadoras de tamanho de amostra. Ou seja, pessoas suficientes fizeram parte do experimento para que possamos concluir qualquer coisa.

“2. O teste foi executado por tempo suficiente para que a amostra seja representativa (e não muito longa para evitar a poluição da amostra). Na maioria dos casos, você desejará executar seus testes em duas, três ou quatro semanas, dependendo da rapidez com que você pode obter a amostra necessária.”

O que é regressão à média?

Você pode notar flutuações extremas no início do seu teste A/B.

A regressão à média é o fenômeno que diz que se algo for extremo em sua primeira medição, provavelmente estará mais próximo da média em sua segunda medição.

Se a única razão pela qual você está chamando um teste é porque atingiu significância estatística, você pode estar vendo um falso positivo. Sua variação vencedora provavelmente regredirá à média ao longo do tempo.

O que é poder estatístico?

Supondo que haja uma diferença entre A e B, com que frequência você verá o efeito?

Quanto menor o nível de poder, maior a chance de um vencedor não ser reconhecido. Quanto maior o nível de poder, menor a chance de um vencedor não ser reconhecido. Realmente, tudo que você precisa saber é que 80% de poder estatístico é padrão para a maioria das ferramentas de teste A/B e/ou qualquer serviço de teste de divisão.

Ton Wesseling, fundador do Online Dialogue, gostaria que mais pessoas soubessem sobre o poder estatístico:

Tiro na cabeça do especialista

Ton Wesseling, Diálogo Online

“Muitas pessoas se preocupam com falsos positivos. Nós nos preocupamos muito mais com falsos negativos. Por que realizar experimentos em que as chances de encontrar provas de que sua mudança positiva tenha um impacto são realmente baixas?”

O que são ameaças de validade externa?

Existem fatores externos que ameaçam a validade de seus testes. Por exemplo:

  • Vendas da Black Friday Cyber ​​Monday (BFCM)
  • Uma menção de imprensa positiva ou negativa
  • Um grande lançamento de campanha paga
  • O dia da semana
  • A mudança das estações

Um dos exemplos de teste A/B mais comuns em que ameaças de validade externa afetam seus resultados é durante eventos sazonais. Digamos que você fosse fazer um teste em dezembro. Grandes feriados de compras significariam um aumento no tráfego para sua loja durante esse mês. Você pode descobrir em janeiro que seu vencedor de dezembro não está mais tendo um bom desempenho.

Por quê?

Por causa de uma ameaça de validade externa: os feriados.

Os dados nos quais você baseou sua decisão de teste eram uma anomalia. Quando as coisas se acalmarem em janeiro, você pode se surpreender ao descobrir que seu vencedor está perdendo.

Você não pode eliminar ameaças de validade externa, mas pode mitigá-las executando testes por semanas inteiras (por exemplo, não inicie um teste na segunda-feira e termine-o na sexta-feira), incluindo diferentes tipos de tráfego (por exemplo, não t testar o tráfego pago exclusivamente e, em seguida, distribuir os resultados para todas as fontes de tráfego) e estar atento a possíveis ameaças.

Se você estiver executando um teste durante uma temporada de compras movimentada, como BFCM, ou através de uma grande ameaça de validade externa, você pode querer ler nosso Guia Completo para Testes A/B.

Como configurar um teste A/B

Vamos percorrer um pequeno tutorial de teste A/B. Antes de testar qualquer coisa , você precisa ter uma hipótese sólida. (Ótimo, acabamos de terminar a aula de matemática e agora vamos para a ciência.)

Não se preocupe, não é complicado. Basicamente, você precisa testar uma hipótese, não uma ideia. Uma hipótese é mensurável, aspira a resolver um problema de conversão específico e se concentra em insights em vez de vitórias.

Você precisa testar A/B uma hipótese, não uma ideia.

Sempre que estou escrevendo uma hipótese, uso uma fórmula emprestada do Kit de Hipóteses de Craig Sullivan:

  • Porque você vê [inserir dados/feedback da pesquisa]
  • Você espera que [a mudança que você está testando] cause [impacto que você prevê] e
  • Você medirá isso usando [métrica de dados]

Fácil, certo? Tudo o que você precisa fazer é preencher as lacunas e sua ideia de teste se transformará em uma hipótese.

Escolhendo uma ferramenta de teste A/B

Agora você pode começar a escolher uma ferramenta de teste A/B ou serviço de teste A/B. Na maioria das vezes, você pensará primeiro no Google Optimize, Optimizely e VWO.

Todas são opções boas e seguras.

  • Google Optimize. Gratuito, exceto por algumas limitações multivariadas, que não devem realmente afetar você se você estiver apenas começando. Funciona bem ao realizar testes A/B do Google Analytics, o que é uma vantagem.
  • Otimize. Fácil de obter pequenos testes em funcionamento, mesmo sem habilidades técnicas. O Stats Engine facilita a análise dos resultados dos testes. Normalmente, o Optimizely é a opção mais cara das três.
  • VWO. O VWO possui SmartStats para facilitar a análise. Além disso, possui um ótimo editor WYSIWYG para iniciantes. Todo plano VWO vem com mapas de calor, pesquisas no local, análise de formulários, etc.

Também temos algumas ferramentas de teste A/B na App Store da Shopify que podem ser úteis.

Depois de selecionar uma ferramenta de teste A/B ou software de teste A/B, preencha o formulário de inscrição e siga as instruções fornecidas. O processo varia de ferramenta para ferramenta. Normalmente, porém, você será solicitado a instalar um snippet em seu site e definir metas.

Como analisar os resultados do teste A/B

Lembra quando eu disse que escrever uma hipótese muda o foco de vitórias para insights? Krista Seiden, analista de análise e gerente de produto do Google, explica o que isso significa:

Tiro na cabeça do especialista

Krista Seiden, Google

"O aspecto mais negligenciado do teste A/B é aprender com seus perdedores. Na verdade, nos programas de otimização que executo, tenho o hábito de publicar um 'relatório de falhas' onde chamo alguns dos maiores perdedores do trimestre e o que aprendemos com eles.

“Um dos meus favoritos de todos os tempos era de uma campanha que estava sendo feita há meses. Conseguimos entrar no teste da página de destino pouco antes de ela ser lançada, e foi uma coisa boa que fizemos, porque falhou miseravelmente. Se tivéssemos realmente lançado a página como estava, teríamos sofrido um impacto significativo no resultado final. Não apenas acabamos economizando muito dinheiro para o negócio, mas também fomos capazes de investigar e fazer algumas suposições (que testamos mais tarde) sobre por que a nova página teve um desempenho tão ruim, e isso nos tornou melhores profissionais de marketing e mais bem-sucedidos em campanhas futuras.”

Se você elaborar sua hipótese corretamente, até mesmo um perdedor é um vencedor, porque você obterá insights que poderá usar para testes futuros e em outras áreas do seu negócio. Portanto, ao analisar os resultados do teste, você precisa se concentrar nos insights, não se o teste ganhou ou perdeu. Sempre há algo a aprender, sempre algo a analisar. Não descarte os perdedores!

Se você elaborar sua hipótese corretamente, mesmo um perdedor é um vencedor.

A coisa mais importante a notar aqui é a necessidade de segmentação. Um teste pode ser um perdedor no geral, mas é provável que tenha um bom desempenho com pelo menos um segmento. O que quero dizer com segmento?

  • Novos visitantes
  • Visitantes recorrentes
  • Visitantes do iOS
  • Visitantes do Android
  • Visitantes do Chrome
  • Visitantes do Safari
  • Visitantes da área de trabalho
  • Visitantes do tablet
  • Visitantes de pesquisa orgânica
  • Visitantes pagos
  • Visitantes nas redes sociais
  • Compradores logados

Você entendeu a ideia, certo?

Quando você está olhando para os resultados em sua ferramenta de teste, você está olhando para toda a caixa de doces. O que você precisa fazer é separar os Smarties por cor para poder comer os vermelhos por último. Quero dizer, para que você possa descobrir insights mais profundos e segmentados.

As probabilidades são de que a hipótese foi comprovada em certos segmentos. Isso também lhe diz algo.

A análise é muito mais do que se o teste foi um vencedor ou um perdedor. Segmente seus dados para encontrar insights ocultos abaixo da superfície.

As ferramentas de teste A/B não farão a análise para você, portanto, essa é uma habilidade importante a ser desenvolvida ao longo do tempo.

E-book gratuito: Análise de comércio eletrônico para iniciantes

Descubra quais métricas são a chave para estabelecer e expandir seu negócio online. Este guia gratuito é o primeiro passo perfeito para aprender sobre análise de comércio eletrônico.

Como arquivar testes A/B anteriores

Digamos que você faça seu primeiro teste amanhã. Dois anos a partir de amanhã, você vai se lembrar dos detalhes desse teste? Não é provável.

É por isso que arquivar os resultados dos testes A/B é importante. Sem um arquivo bem mantido, todos os insights que você está obtendo serão perdidos. Além disso, não estou brincando, é muito fácil testar a mesma coisa duas vezes se você não estiver arquivando.

Não há nenhuma maneira “certa” de fazer isso, no entanto. Você pode usar uma ferramenta como Projetos ou Experimentos Efetivos, ou pode usar o Excel. É realmente com você, especialmente quando você está apenas começando. Apenas certifique-se de acompanhar:

  • A hipótese
  • Capturas de tela do controle e variação
  • Se ganhou ou perdeu
  • Insights obtidos por meio da análise

À medida que você cresce, você se agradecerá por manter este arquivo. Isso não apenas ajudará você, mas também novas contratações e consultores/partes interessadas.

Processos de teste A/B dos profissionais

Agora que você passou por um tutorial de teste A/B padrão, vamos dar uma olhada nos processos exatos de profissionais de empresas como Google e HubSpot.

Lista de leitura gratuita: otimização de conversão para iniciantes

Transforme mais visitantes do site em clientes fazendo um curso intensivo de otimização de conversão. Acesse nossa lista gratuita e selecionada de artigos de alto impacto abaixo.

Krista Seiden, Google

Meu processo passo a passo para testes A/B da Web e de aplicativos começa com a análise - na minha opinião, esse é o núcleo de qualquer bom programa de teste. Na fase de análise, o objetivo é examinar seus dados de análise, pesquisa ou dados de UX, ou quaisquer outras fontes de insights do cliente que você possa ter para entender onde estão suas oportunidades de otimização.

Depois de ter um bom pipeline de ideias do estágio de análise, você pode passar para a hipótese do que pode estar dando errado e como você poderia corrigir ou melhorar essas áreas de otimização.

Em seguida, é hora de construir e executar seus testes. Certifique-se de executá-los por um período de tempo razoável (o padrão é duas semanas para garantir que estou contabilizando alterações ou anomalias semana a semana) e, quando você tiver dados suficientes, analise seus resultados para determinar seu vencedor.

Também é importante dedicar algum tempo neste estágio para analisar os perdedores – o que você pode aprender com essas variações?

Finalmente, e você só pode chegar a esse estágio depois de dedicar algum tempo preparando as bases para um programa de otimização sólido, é hora de analisar a personalização. Isso não requer necessariamente um conjunto de ferramentas sofisticado, mas pode vir dos dados que você tem sobre seus usuários.

A personalização de marketing pode ser tão fácil quanto direcionar o conteúdo certo para os locais certos ou tão complexa quanto direcionar com base em ações individuais do usuário. Não pule de uma só vez no bit de personalização. Certifique-se de gastar tempo suficiente para acertar o básico primeiro.

Alex Birkett, HubSpot

Em alto nível, tento seguir este processo:

  • Colete dados e certifique-se de que as implementações de análise sejam precisas.
  • Analise dados e encontre insights.
  • Transforme insights em hipóteses.
  • Priorize com base no impacto e na facilidade e maximize a alocação de recursos (especialmente recursos técnicos).
  • Executar um teste (seguindo as melhores práticas de estatística com o melhor de meu conhecimento e habilidade).
  • Analisar resultados e implementar ou não de acordo com os resultados.
  • Iterar com base nas descobertas e repetir.

Simplificando: pesquise, teste, analise, repita.

Embora esse processo possa se desviar ou mudar com base no contexto (estou testando um recurso de produto crítico para os negócios? Um CTA de postagem no blog? Qual é o perfil de risco e o equilíbrio entre inovação e mitigação de risco?), é bastante aplicável a qualquer tamanho ou tipo de empresa.

O ponto é que esse processo é ágil, mas também coleta dados suficientes, tanto feedback qualitativo do cliente quanto análise quantitativa, para poder apresentar melhores ideias de teste e priorizá-las para que você possa direcionar o tráfego para sua loja online.

Ton Wesseling, Diálogo Online

A primeira pergunta que sempre respondemos quando queremos otimizar a jornada do cliente é: Onde esse produto ou serviço se encaixa no modelo ROAR que criamos no Diálogo Online? Você ainda está na fase de risco em que poderíamos fazer muitas pesquisas, mas não podemos validar nossas descobertas por meio de experimentos on-line de teste A/B (abaixo de 1.000 conversões por mês) ou você está na fase de otimização? Ou mesmo acima?

  • Fase de risco: muita pesquisa , que será traduzida em qualquer coisa, desde um pivô de modelo de negócios até um design totalmente novo e uma proposta de valor.
  • Fase de otimização: grandes experimentos que otimizarão a proposta de valor e o modelo de negócios.
  • Fase de otimização: pequenos experimentos para validar hipóteses de comportamento do usuário, que irão construir conhecimento para mudanças de projeto maiores.
  • Automação: você ainda tem poder de experimentação (visitantes), o que significa que todo o seu potencial de teste não é necessário para validar sua jornada de usuário. O que resta deve ser usado para explorar, para crescer mais rápido agora (sem foco em aprendizados de longo prazo). Isso pode ser automatizado executando bandidos/usando algoritmos.
  • R e-pensar: você para de adicionar muita pesquisa, a menos que seja um pivô para algo novo.

ROOAR

Portanto, o teste A/B da web ou do aplicativo é apenas uma grande coisa na fase de otimização do ROAR e além (até repensar).

Nossa abordagem para a execução de experimentos é o modelo FACT & ACT:

FATO E ATO

A pesquisa que fazemos é baseada em nosso modelo 5V:

Modelo 5V

Reunimos todos esses insights para chegar a uma hipótese principal apoiada em pesquisa, que levará a sub-hipóteses que serão priorizadas com base nos dados coletados por meio de testes A/B para desktop ou dispositivos móveis. Quanto maior a chance de a hipótese ser verdadeira, mais alta ela será classificada.

Depois de sabermos se nossa hipótese é verdadeira ou falsa, podemos começar a combinar aprendizados e dar passos maiores redesenhando/realinhando partes maiores da jornada do cliente. No entanto, em algum momento, todas as implementações vencedoras levarão a um máximo local. Então você precisa dar um passo maior para poder alcançar um potencial máximo global.

E, é claro, os principais aprendizados serão espalhados por toda a empresa, o que leva a todos os tipos de otimização e inovação mais amplas com base em seus insights primários validados.

Você está fazendo marketing para um público internacional? Saiba como facilitar esse processo com a pseudolocalização.

Julia Starostenko, Shopify

O objetivo de um experimento é validar que fazer alterações em uma página da Web existente terá um impacto positivo nos negócios.

Antes de começar, é importante determinar se a execução de um experimento é realmente necessária. Considere o seguinte cenário: há um botão com uma taxa de cliques extremamente baixa. Seria quase impossível diminuir o desempenho deste botão. Portanto, não é necessário validar a eficácia de uma alteração proposta no botão (ou seja, executar um experimento).

Da mesma forma, se a alteração proposta no botão for pequena, provavelmente não vale a pena gastar tempo configurando, executando e desmontando um experimento. Nesse caso, as alterações devem ser implementadas para todos e o desempenho do botão pode ser monitorado.

Se for determinado que a execução de um experimento seria de fato benéfica, o próximo passo é definir as métricas de negócios que devem ser aprimoradas (por exemplo, aumentar a taxa de conversão de um botão). Then we ensure that proper data collection is in place.

Once this is complete, the audience is randomly run split testing between two groups; one group is shown the existing version of the button while the other group gets the new version. The conversion rate of each audience is monitored, and once statistical significance is reached, the results of the experiment are determined.

Peep Laja, Instituto CXL

A/B testing is a part of a bigger conversion optimization picture. In my opinion it's 80% about the research and only 20% about testing. Conversion research will help you determine what to test to begin with.

My process typically looks like this (a simplified summary):

  • Realize pesquisas de conversão usando uma estrutura como ResearchXL para identificar problemas em seu site.
  • Escolha um problema de alta prioridade (um que afete uma grande parte dos usuários e seja um problema grave) e faça um brainstorming de todas as soluções possíveis para esse problema. Informe seu processo de ideação com seus insights de pesquisa de conversão. Determine em qual dispositivo você deseja executar o teste (você precisa executar o teste A/B móvel separado do desktop).
  • Determine quantas variações você pode testar (com base no seu nível de tráfego/transação) e, em seguida, escolha uma ou duas melhores ideias para uma solução a ser testada em relação ao controle.
  • Faça o wireframe dos tratamentos exatos (escrever a cópia, fazer as alterações de design, etc.) Dependendo do escopo das alterações, você também pode precisar incluir um designer para projetar novos elementos.
  • Faça com que seu desenvolvedor front-end implemente os tratamentos em sua ferramenta de teste. Configure as integrações necessárias (Google Analytics), defina metas apropriadas.
  • Conduza o controle de qualidade no teste (testes quebrados são de longe o maior assassino de testes A/B) para garantir que funcione com cada combinação de navegador/dispositivo.
  • Lançar o teste!
  • Uma vez que o teste é feito, realize a análise pós-teste.
  • Dependendo do resultado, implemente o vencedor, repita os tratamentos ou teste outra coisa.
Ícone de modelo

Webinar Gratuito:

Marketing 101

Lutando para aumentar as vendas? Aprenda como ir do primeiro dia à primeira venda neste curso de treinamento gratuito.

Registrar agora

Otimize os testes A/B para o seu negócio

Você tem o processo, você tem o poder! Então, vá lá, obtenha o melhor software de teste A/B e comece a testar sua loja. Antes que você perceba, esses insights resultarão em mais dinheiro no Banco de Você.

Se você quiser continuar aprendendo sobre otimização, considere fazer um curso gratuito, como o teste A/B da Udacity pelo Google. Você pode aprender mais sobre testes A/B de aplicativos móveis e da Web para aumentar seu conjunto de habilidades de otimização.