Introdução aos testes multivariados em marketing
Publicados: 2023-08-10Um dos maiores benefícios do marketing digital é a capacidade de testar quase todos os aspectos do seu mix de marketing para ver o que funciona melhor. De linhas de assunto e títulos de e-mail a imagens de páginas de destino e cores de CTA, a capacidade de testar e comparar resultados oferece uma vantagem sobre a mídia tradicional.
Em muitos casos, você pode confiar no teste A/B para selecionar e testar um elemento de campanha por vez. Mas em outros, você pode querer avaliar a eficácia de alterar vários elementos diferentes de uma só vez. Você também pode querer descobrir as relações entre diferentes elementos. Nessas situações, o teste multivariado é exatamente o que você precisa.
O que é Teste Multivariado?
O teste multivariado (MVT) é um método de teste que envolve o teste de vários elementos ou combinações de variáveis por vez. Comparado com o teste A/B, onde você testa um elemento por vez, você pode usar processos MVT para descobrir qual combinação de variáveis tem o melhor desempenho em termos de alcançar o resultado desejado. Ele fornece informações valiosas sobre como diferentes elementos podem afetar o comportamento do usuário.
O teste multivariado é um processo intensivo de recursos que requer um grande tamanho de amostra. Se você estiver interessado em usá-lo, o guia a seguir pode ajudá-lo a determinar se é uma boa opção.
Exemplos de testes multivariados
Como é o teste multivariado na vida real?
Considere os seguintes exemplos para um varejista de comércio eletrônico:
Você deseja mudar a cor de um botão CTA, bem como o idioma para ver qual gera mais cliques. Você decide usar o MVT para determinar qual funciona melhor. Nessa situação, você criaria quatro versões diferentes da página e testaria cada uma delas.
Você deseja saber se alterar o título e adicionar mais imagens ao e-mail de boas-vindas do cliente gera cliques. Você cria várias versões com títulos e imagens diferentes e deixa a campanha seguir seu curso.
Você precisa aumentar as conversões em sua página de destino, então decide testar diferentes combinações de títulos, imagens, conteúdo de texto e campos de formulário para ver qual combinação leva à maior taxa de conversão.
Você vê uma taxa de rejeição mais alta e menos cliques nas páginas de produtos da página inicial do seu site, então você testa banners, menus de navegação e posicionamento do botão CTA para otimizar a experiência do usuário e movê-los ainda mais para o funil de vendas.
Lembre-se, o objetivo do teste multivariado não é apenas encontrar os elementos que funcionam melhor, mas entender como esses elementos interagem entre si.
Teste multivariado x teste A/B
Qual é a diferença entre teste multivariado e teste A/B? Ambos os testes envolvem fazer uma hipótese sobre o que pode acontecer se você mudar as coisas na página. Como estabelecemos, no primeiro você está testando vários elementos ou variáveis, muitas vezes ao mesmo tempo. O teste A/B se concentra exclusivamente em uma variável por vez.
Então, como você sabe qual deles faz mais sentido para suas necessidades?
Digamos que você queira aumentar as conversões em uma página de destino de um anúncio de pesquisa paga, mas não tem certeza de qual abordagem deseja adotar. Embora o teste A/B seja um método mais simples e rápido, ideal para alterar uma única alteração, o teste multivariado oferece uma abordagem mais abrangente. Dependendo de quanto tempo e recursos você tem, um pode funcionar melhor que o outro.
Em última análise, sua escolha de modelo de teste se resume ao seu tempo, tráfego e complexidade do que você deseja testar.
Quando usar testes multivariados
O teste multivariado é uma excelente ferramenta para otimização de sites, mas nem sempre é a melhor escolha. Se você se depara com as seguintes condições ou necessidades, pode ser uma boa opção para você:
Você tem uma quantidade substancial de tráfego, provavelmente milhares de visitantes. Esse número aumenta com base no número de variações. O tamanho de amostra necessário deve ser menor que seu nível de tráfego atual.
Você precisa otimizar os principais pontos de conversão em seu site, incluindo páginas de destino ou processos de checkout.
Você deseja entender como diferentes elementos em uma página interagem e afetam o comportamento do usuário.
Você precisa refinar projetos estabelecidos para otimização de desempenho.
Com tantos bons casos de uso para testes multivariados, quando isso não faz sentido?
Você tem pouco tráfego.
Você está nos estágios iniciais de seu design.
Você deseja testar variáveis únicas.
Nessas situações, o teste A/B pode ser a melhor escolha. Antes de se comprometer com um processo de teste, considere suas circunstâncias e objetivos específicos.
Tipos de teste multivariado
Quando você se compromete com o teste multivariado, também precisa determinar qual método se adapta melhor à sua abordagem. O número de fatores que você precisa testar pode influenciar quanto tempo seu processo de teste leva e quanto custa.
O teste multivariado geralmente pode assumir uma de duas formas: teste fatorial completo ou teste parcial. Dependendo de seus recursos e resultados desejados, um pode ser mais adequado do que o outro.
Teste fatorial completo
O teste fatorial completo inclui testar todas as combinações possíveis de conteúdo com igual probabilidade. Em um teste fatorial completo, você testaria todas as combinações. Digamos que você tenha uma página de destino com duas imagens e quatro CTAs. Isso significa que você testaria oito versões diferentes:
Versão 1: Imagem 1, CTA 1
Versão 2: Imagem 1, CTA 2
Versão 3: Imagem 1, CTA 3
Versão 4: Imagem 1, CTA 4
Versão 5: Imagem 2, CTA 1
Versão 6: Imagem 2, CTA 2
Versão 7: Imagem 2, CTA 3
Versão 8: Imagem 2, CTA 4
O teste fatorial completo oferece dados abrangentes, mas tem algumas desvantagens. Por um lado, é uso intensivo de recursos. Como você pode ver, você precisa de um grande número de execuções experimentais para cada variável alterada, e esse número só aumenta se você adicionar fatores. Analisar esses resultados também é bastante complexo. Devido aos grandes requisitos de tamanho de amostra, alcançar significância estatística também pode ser difícil. Isso afeta a escalabilidade.
Em muitos casos, você pode optar por realizar um teste fatorial parcial ou fracionário, o que pode reduzir os recursos necessários, mas ainda fornecer insights valiosos.
Teste parcial
O teste parcial (ou fracionário) é um processo mais simples que testa subconjuntos menores de opções disponíveis. Digamos que você decida testar combinações de variáveis ainda mais complexas para sua página de destino e dobre o número de variáveis para 16. Em um teste fatorial completo, você dividiria o tráfego igualmente entre todas as variações.
Em um teste fatorial fracionário, você dividiria esse tráfego entre oito variações. A taxa de conversão das variações restantes vem da dedução estatística com base nas que você já testou.
Por que você implementaria esse teste? Você geralmente requer menos tráfego com esses testes, mas não obtém os dados granulares. O que isso lhe dá, no entanto, é uma noção geral de se as variações são melhores ou piores do que outras.
Por que você selecionaria um teste parcial, especialmente se ele não oferece os dados abrangentes que um teste fatorial completo oferece?
Testes multivariados parciais permitem que você se concentre nas combinações de variáveis mais promissoras ou relevantes. Isso é importante quando você tem recursos limitados, como tempo, tráfego ou poder computacional. Também reduz a complexidade dos testes, especialmente à medida que as variáveis aumentam. Você pode até reduzir o número de comparações que está fazendo, o que leva a um risco menor de falsos positivos (resultados que na verdade não fornecem benefícios).
Em última análise, o teste parcial pode funcionar para você se quiser tornar seus testes o mais eficientes possível. Apenas saiba que há uma compensação: como você não está testando todas as combinações possíveis, corre o risco de perder interações de fatores potencialmente significativos.
Como conduzir um teste multivariado
Seu teste multivariado será diferente dependendo do número de variáveis que você incluir e do tipo de teste que fizer, mas as etapas básicas são as seguintes:
Identifique seus objetivos: defina o que você deseja alcançar com o teste. Os objetivos de exemplo incluem aumentar as conversões, reduzir a taxa de rejeição, melhorar o envolvimento do usuário etc.
Selecione suas variáveis: quando você conhece seus objetivos, pode identificar os elementos do site para testar. Isso inclui títulos, imagens, cores, botões, CTAs e muito mais.
Projete as variações: Para cada variável, crie uma versão diferente. Se estiver testando manchetes, crie versões diferentes para ver qual apresenta o melhor desempenho.
Configure seu teste: encontre a ferramenta multivariada certa para configurar seu teste. Essa ferramenta servirá aleatoriamente as diferentes variações para seus usuários e acompanhará os resultados.
Execute o teste: permita que seu teste seja executado por um período de tempo suficiente para coletar os dados. A duração do seu teste depende do tráfego do site e do número de variações que você precisa testar.
Analise os resultados: Uma vez concluído o teste, analise os resultados. Compare o desempenho de cada variação em relação ao seu objetivo.
Implementar alterações: com base em sua análise, implemente as variações mais bem-sucedidas em seu site ou aplicativo.
Repita os testes conforme necessário: O teste multivariado não é uma operação “única e pronta”. Depois de concluir um teste, identifique novas variáveis e comece o processo novamente.
Lembre-se: o teste multivariado não é apenas para identificar a variação de melhor desempenho. Também é importante entender como diferentes elementos interagem e influenciam o comportamento do usuário.
Como encontrar variáveis para testar
Saber quais elementos testar em um teste multivariado é uma habilidade. Também é vital para garantir que o teste seja bem-sucedido. As variáveis em um teste multivariado podem incluir títulos, imagens, vídeos, botões CTA, descrições de produtos, layout, cores e muito mais. As chaves para um teste multivariado bem-sucedido incluem a escolha de variáveis que afetam significativamente o comportamento do usuário e seu(s) objetivo(s) final(is).
Para ajudar a descobrir quais variáveis você deve incluir em seu teste, considere executar as seguintes etapas:
Entenda seus objetivos
Antes de decidir sobre as variáveis, pergunte quais são seus objetivos. Quer aumentar as conversões? O plano é melhorar o engajamento do usuário ou reduzir as taxas de rejeição? Essas metas orientam as variáveis nas quais você vai focar.
Analise seus dados existentes
Use suas ferramentas analíticas atuais para analisar seus dados existentes e identificar tendências ou bandeiras amarelas ou vermelhas. Se certas páginas tiverem altas taxas de rejeição, convém testar variáveis nelas para reduzir essa métrica.
Realizar testes com usuários e buscar feedback
O teste do usuário é uma ferramenta poderosa para entender como pessoas reais usam seu site ou produto. A realização de pesquisas e a solicitação de feedback podem ajudá-lo a identificar possíveis pontos problemáticos para seus clientes.
Confira a concorrência
Veja o que seus concorrentes estão fazendo. Quais elementos em seu site estão ajudando-os a ter sucesso? Essas podem ser variáveis que você pode testar em suas próprias páginas de destino ou site.
Use mapas de calor a seu favor
Os mapas de calor podem ajudá-lo a ver onde seus usuários estão clicando, rolando e gastando tempo em seu site. Os usuários estão demorando em seções específicas? Como eles estão lendo ou interagindo com seu conteúdo? Os mapas de calor podem mostrar áreas de interesse e revelar elementos que você pode testar no futuro.
Vantagens e Desvantagens dos Testes Multivariados
Como todos os processos de teste, o teste multivariado tem suas vantagens e desvantagens exclusivas. Embora seja definitivamente uma ferramenta poderosa para otimizar o desempenho do site, pode não ser a melhor opção para todos. Considere os seguintes prós e contras antes de começar a testar.
Vantagens
O MVT é uma maneira eficiente de testar as interações entre os elementos da página.
Requer menos testes sucessivos porque você está testando várias variáveis ao mesmo tempo.
Ele permite que você crie uma experiência altamente otimizada para seus usuários.
O outro grande benefício do teste multivariado é que ele permite que você crie uma experiência de usuário altamente otimizada para maximizar as conversões. A maioria dos elementos ou variáveis que você testa, como velocidade da página, recursos visuais e até mesmo tipos de CTA, podem afetar a experiência do usuário. Quando você otimiza esses elementos para conversão, geralmente tem o benefício adicional de melhorar a forma como as pessoas interagem com seu site.
Desvantagens
O MVT é um processo complexo que envolve várias combinações de variáveis.
Pode ser demorado, especialmente em comparação com testes A/B simples.
Requer grandes volumes de tráfego do site, dificultando a obtenção de significância estatística para sites menores
Existe o risco de mudanças insignificantes que não fazem diferença no comportamento do usuário.
Melhores ferramentas de teste multivariadas
Não faltam ferramentas poderosas de teste A/B e teste multivariado no mercado. Os preços podem variar de acordo com a plataforma e as necessidades. Algumas das plataformas de teste mais populares incluem:
Optimizely: alguns dos maiores nomes em marketing digital, vendas e comércio eletrônico contam com a plataforma Experiment da Optimizely para realizar experimentos para obter informações sobre o comportamento de seus clientes. Com as opções Acelerar e Escalar, você pode executar MVT em várias páginas de uma só vez. Como muitos outros provedores, você precisará solicitar uma cotação de preço.
AB Tasty: AB Tasty não oferece preços antecipados, em vez disso, conta com cotações personalizadas com base nas informações que você fornece. No entanto, oferece muitas ferramentas poderosas para testes (incluindo código e recursos de edição WYSIWYG). Eles listam várias marcas conceituadas em sua lista de clientes, o que pode fornecer a prova social de que você precisa para vê-las.
VWO: O VWO oferece um poderoso conjunto de ferramentas de teste, especialmente em sua versão gratuita. O que você pagará pelo plano por mês varia de acordo com suas necessidades e o tráfego que você precisa acompanhar a cada mês. Mas para profissionais de marketing com menos de 50.000 visitantes mensais, seu plano de crescimento custa US$ 822 por mês e oferece ferramentas de teste multivariadas abrangentes.
Convert: Convert é outra ferramenta MVT que diz que você pode “configurar todo tipo de experimento possível”. Oferece testes A/B, split e multivariados. O preço do Convert varia de acordo com o número de usuários que você precisa testar por mês, embora o plano Expert seja de $ 13.432 por ano para 12 milhões de usuários. Você pode precisar de mais de 15 dias para executar um teste, mas eles oferecem um período de teste.
A importância do teste multivariado em campanhas entre canais
O teste multivariado pode ser um processo complexo, mas não subestime a importância dele para sua estratégia entre canais. Compreender as relações entre os elementos em uma página da web ou em uma campanha de e-mail ajuda muito a melhorar a experiência de seus clientes à medida que eles avançam na jornada. Ser capaz de analisar e falar com os dados por trás do que funciona melhor para seus esforços de marketing digital é essencial.
Você precisará de ferramentas poderosas para ajudar a colocar esses dados em um local conveniente, que é onde entra nossa plataforma de publicidade digital. Podemos ajudá-lo a analisar as informações de suas campanhas de marketing e determinar quais esforços pagos são mais bem-sucedidos. Ao usar o painel de desempenho de marketing digital correto, você reduzirá o tempo gasto na análise de dados e liberará energia para testar suas campanhas.
Perguntas frequentes
Qual é a diferença entre teste multivariado e teste A/B?
O teste A/B normalmente testa apenas uma variável por vez e mostra qual foi a mais eficaz para atingir seu objetivo. O teste multivariado testa muitas combinações de variáveis para ver como elas interagem.
Quais são os benefícios dos testes multivariados?
O teste multivariado permite que você veja como várias variações interagem umas com as outras em uma página de destino, site ou outro recurso de marketing. Ele ajuda a identificar a melhor combinação de elementos que trabalham juntos para atingir seus objetivos, como uma taxa de conversão maior.
Qual é a desvantagem do teste multivariado?
O teste multivariado é um processo demorado devido ao número de variáveis que você precisa incluir. Também pode ser caro. Como o teste multivariado envolve tantas variáveis, normalmente requer um volume maior de tráfego para gerar resultados estatisticamente significativos.
O que é um exemplo de teste multivariado?
Você é um varejista de comércio eletrônico que deseja testar como diferentes elementos em sua página de destino interagem uns com os outros e geram conversões. Em um teste multivariado, você cria combinações desses elementos (manchetes, cor, cópia do botão CTA, conteúdo da página e imagens) e os atribui aleatoriamente a diferentes públicos. Ao final do teste, você analisa a combinação que obteve os melhores resultados para o seu objetivo específico, neste caso a taxa de conversão.
Quando devo usar testes multivariados?
Use o teste multivariado quando tiver um alto nível de tráfego, precisar otimizar os principais pontos de conversão e quiser entender as interações entre diferentes elementos em sua(s) página(s).