Requisitos para Executar Programas de Experimentação Sério

Executar programas de experimentação é uma arte e uma ciência. Eu digo isso o tempo todo. Os programas devem ter algum nível de rigor – ou seja, sistemas, processos e procedimentos. Não é algo para tomar de ânimo leve. Acreditar que qualquer um pode começar um programa amanhã com o mínimo de preparação e planejamento é um erro. Infelizmente, porém, isso acontece o tempo todo. Isso leva a muito dinheiro, tempo e esforço desperdiçados – sem surpresa. Isso me leva ao tópico da preparação.

Se você quer levar a sério a experimentação e aumentar sua competitividade no mercado, é melhor fazê-lo bem. Você deve assumir que seus concorrentes estão fazendo isso bem. Portanto, se isso ressoa com você, continue lendo e garanto que você pegará uma ou duas pepitas de ouro para usar imediatamente.

O precursor inevitável para a construção de um programa de experimentação que irá fazer ou quebrar você: cálculos pré-teste

Cálculos pré-teste. Já ouviu falar deles? Você os fez? O MDE ou efeito mínimo detectável soa familiar? Que tal estimativas de duração ou tamanhos de amostra? Espero que você saiba do que estou falando, embora eu aposte dinheiro que a grande maioria de vocês não sabe - simplesmente por causa de minha própria experiência pessoal com clientes.

Antes de fazer qualquer coisa relacionada à experimentação, verifique se você tem volume de dados suficiente para fazê-lo. Veja se você é capaz de testar através de cálculos pré-teste. Por volume de dados, quero dizer visitantes e conversões. Os visitantes podem ser o que você normalmente usa (por exemplo, sessões, usuários, MAUs, etc.). As conversões são da métrica principal que você usará em seus testes. Saiba isso:

1. Nem toda empresa tem volume de dados suficiente para fazer experimentos em qualquer capacidade.
2. Se você pode fazer isso, saiba que não basta escolher a velocidade desejada do nada. É baseado em cálculos.

O culpado número 1 por ignorar um ou ambos os pontos: o pessoal de vendas. Se você está pensando em comprar qualquer tipo de ferramenta, certifique-se de que isso faça parte da conversa. A barreira mínima para entrar em um programa de experimentação: volume de dados suficiente para executar um teste em oito semanas ou menos em uma raia.

Cobri este tópico em detalhes há alguns meses para a Experiment Nation. Saiba que se você não entender este tópico e fizer isso desde o primeiro dia, isso irá assombrá-lo e definitivamente causará algum tipo de resultado indesejado eventualmente. Outra observação muito importante: saiba se sua ferramenta de teste (ou aquela que você planeja usar) é construída com base em teste de horizonte fixo ou teste sequencial. Isso afeta os cálculos e como você executa seu programa.

Etapa 1 (pós-precursor): medição e qualidade dos dados

Se você superou o obstáculo dos cálculos pré-teste e confirmou que tem volume de dados suficiente para testar, o próximo obstáculo para avançar é a medição e a qualidade dos dados. Você deve saber o que está buscando neste trabalho; caso contrário, você se debaterá como um peixe na margem de um rio. Muitas equipes não sabem para o que estão trabalhando – como envios de formulários, transações, receita, LTV, etc.

Entenda quais são suas métricas primárias, secundárias e terciárias para experimentação e para o negócio como um todo. Entenda com total clareza. Não permita confusão ou incerteza persistente. Certifique-se de que todos estejam na mesma página.

Então, assim que tiver tudo isso, certifique-se de coletar esses dados nos lugares certos e de que pode confiar neles.

Se a medição e/ou a qualidade dos dados forem um desastre, pare. Pare tudo e dedique todos os seus esforços para acertar. Pense na experimentação como uma pirâmide. Essas duas coisas são as camadas fundamentais da pirâmide. Se ela rachar a qualquer momento, todo o resto desmoronará em cima dela. Eu prometo.

Direi que sei que isso pode ser difícil. Acertá-los pode levar mais tempo. Talvez até mais de um ou dois meses. Acertá-los vale a pena, no entanto. Já vi problemas surgirem seis meses ou mais após o lançamento de um programa – apenas para que tudo finalmente chegasse a um ponto insuportável. Ninguém está feliz nesse ponto.

Uma nota sobre o que uma métrica primária deve ser…

Este é um tópico divisivo entre os praticantes às vezes. Tenho uma posição muito firme sobre o assunto, especificamente quando se trata de equipes de marketing e sites (não necessariamente equipes de produtos e produtos).

As métricas primárias devem sempre ser métricas de funil inferior. Pedidos. Envios de formulários. MQLs. Receita. LTV. SQL. Você entendeu a ideia. Algumas pessoas dizem que devem ser sempre a ação mais próxima da mudança que você está fazendo ou das métricas de engajamento. Errado. Não. Não. Incorreta. BS. Quem te disser isso deve ser quem deve justificar o programa em seis meses ou um ano para o CMO ou CEO da empresa. Eles estarão na berlinda. NÃO tenha um programa cheio de testes focados em cliques de botão, click-throughs, pageviews, média. duração da sessão, taxa de saída, taxa de rejeição, visualizações de vídeo e assim por diante. Isso não vai justificar os milhares ou centenas de milhares de dólares gastos para fazer este trabalho. Todos querem saber seu ROI e como o trabalho afetou os resultados. Cliques de botão não vão fazer isso.

Não estou dizendo para não medir métricas de engajamento ou métricas de funil superior, mas elas devem ser métricas secundárias ou terciárias. Não primários. Eles adicionam contexto à história de um teste. Não são deles que os testes dependem quando chega a hora de tomar uma decisão. Observe que também não estou dizendo que nunca há exceções. Ainda avaliar os testes caso a caso.

Um conselho: para aqueles que estão debatendo esse tópico entre si, sempre digo às equipes para discutir as opções e decidir por si mesmas. Apenas certifique-se de chegar a uma conclusão coletiva de que todos seguem em frente.

Passo 2: Pesquisa e ideação do usuário

Neste ponto, você deve (1) saber que tem volume de dados suficiente para testar e (2) saber o que está medindo e que está coletando dados adequados nos quais pode confiar. Então o que vem depois? Está chegando o que testar. Quais são suas ideias de teste? Como você vai gerá-los?

Adivinha o que a maioria das equipes faz? Eles partem de sentimentos viscerais e muitos “nós pensamos”, “nós sentimos” e “nós acreditamos”. Isso é muito subjetivo e é uma maneira terrível de executar um programa. Essa abordagem não é baseada em dados. É o que os praticantes chamam de “teste de espaguete”, também conhecido como jogar coisas na parede e esperar que grudem. As conversas baseadas em dados não envolvem muito esse tipo de linguagem, e os dados necessários vêm da pesquisa do usuário. Me perguntam o que significa “pesquisa” o tempo todo.

Bem, existem várias metodologias que coletam dados, incluindo, entre outros, análises, enquetes, pesquisas, testes de usuários, testes de mensagens, mapas de calor, gravações de sessões, classificação de cartões, testes de árvore, mapeamento de jornada do cliente, personas e muito mais. Existem também várias ferramentas para nos ajudar a concluir cada uma delas. Eu sempre digo para começar com um ou dois e trabalhar para outros a partir daí. Isso é certamente melhor do que nada. Tecnicamente, eu realmente não conto mais análises porque toda empresa tem dados analíticos hoje em dia. Se você não tiver isso, provavelmente terá peixes maiores para fritar. Se você tiver, esforce-se por um ou dois além disso (e não diga “oh, então estamos bem”).

Existe uma metodologia chamada avaliação heurística. É quando alguém avalia visualmente uma experiência e desenvolve insights com base em sua experiência e especialização. Há um tempo e um lugar para isso, mas não é apoiado por “dados concretos” na maioria das vezes. É bastante subjetivo e será diferente até certo ponto, dependendo de quem o concluir. Saiba que seu programa não deve se basear nesses tipos de insights.

Não vou abordar como fazer pesquisas em detalhes aqui, mas você pode conferir um dos meus webinars VWO aqui, onde falo mais sobre o modelo ResearchXL da CXL.

Passo 3: Priorização

Uma vez que você tenha uma lista de ideias de teste, não poderá fazê-las todas de uma vez. Você precisa de uma maneira estratégica e lógica de criar um plano de ação. É aqui que as estruturas de priorização entram em ação. Muitos existem. Eu gosto de um em particular: o framework PXL da CXL. Outros comuns incluem PIE, ICE ou PILL. O PXL é o mais objetivo na minha opinião. É personalizável e mais robusto (no bom sentido).

Outros modelos são bons e melhores do que nada. Se você tem algo e está funcionando para você, ótimo. Basta ter um e garantir que todos o estejam usando! Isso evita que você lide com o caos extra.

Passo 4: Roteiro

Os roteiros mostram visualmente o que está sendo executado em um determinado momento. Combine sua priorização e cálculos de pré-teste e pronto. Você tem um roteiro. Estes são melhor executados em gráficos de Gantt. Adicione todas as suas raias e testes com durações estimadas, dispositivos e outros metadados úteis. Você evitará sobreposições indesejadas e efeitos de interação indesejados. Ele ajuda todos a planejar com muito mais eficácia e eficiência. Isso o salvará de mais caos.

Passo 5 e além: Business as usual

Agora que tudo o que cobrimos está fora do caminho, é normal. Você tem um teste em mãos que vai executar. Você o envia por meio do fluxo de trabalho de experimento regular: maquete > design > desenvolvimento > QA > iniciar > monitorar > concluir > analisar > compartilhar e arquivar > repetir.

Tópicos relacionados: Gerenciamento e governança de programas

Fora dos testes individuais, existem outros tópicos a serem considerados em relação a todo um “programa”. Isso inclui gerenciamento e governança de programas. Aqui está como eu penso sobre eles de uma forma muito resumida…

Gerenciamento do programa: como você vai organizar e acompanhar todo esse trabalho? Descubra quais ferramentas você usará para tarefas, gerenciamento de dados e comunicação. (Recebi esse colapso de Ben Labay, CEO da Speero.)

Governança: Que papéis e responsabilidades todos têm? Uma maneira útil de determinar isso é (1) escolher um modelo de governança e (2) preencher um gráfico RASCI alinhado com o modelo de governança. Modelos de governança comuns a serem investigados e considerados: Individual, centralizado, descentralizado, centro de excelência, conselho de teste e híbridos.

Se você não acertar ambos com todo o resto, será um caos adicional e você pagará por isso a cada passo do caminho. Pregue isso. Leva um tempo extra, mas vale a pena. Se você hackear as coisas por um tempo, as consequências irão alcançá-lo eventualmente. Eu prometo. (Aparentemente, fiz algumas promessas aqui.)

Conclusão

Você deve se sentir um pouco (ou muito) mais confiante no que pode fazer para começar a experimentar ou no que pode fazer para aumentar o nível do programa que já está em execução. Não sinta que é muito difícil ou muito fácil. Geralmente está em algum lugar no meio. Minha maior recomendação aplicável a tudo que mencionei: tenha um quarterback. Tenha alguém que lidere todo esse trabalho. Não precisa ser sua função em tempo integral, mas alguém deve assumir. Geralmente é quando tenho mais sucesso.

Para finalizar, espero que você tenha um programa de experimentação cheio de rigor, resultados e um pouco de diversão. No final do dia, é um trabalho divertido e emocionante que pode fazer uma grande diferença para um negócio.

Se você quiser saber mais sobre como a experimentação impulsiona a inovação e o crescimento e vale todo o hype, assista ao meu último webinar com a VWO.