Testes A/B em e-mail: quando são possíveis e como não se enganar

Um teste A/B válido exige cerca de mil destinatários por variante e um limite de significância de 95%. Com uma lista abaixo de duas mil endereços não há o que testar: qualquer diferença que você veja será acaso. A seguir, como saber se a sua lista dá conta, o que testar e o que fazer quando não dá.

O erro principal: um teste sem amostra

A cena típica: uma campanha vai para duzentos endereços por variante, a primeira marca 22% de abertura e a segunda 25%. Conclusão: a segunda é melhor por três pontos. Na verdade não há conclusão: com essa amostra uma diferença de três pontos aparece por acaso em cerca de metade das vezes.

Já vi centenas de testes A/B que «provaram» algo com 200 destinatários por variante e 3% de diferença nas aberturas. Isso não são dados, é ruído.

O problema não é que o teste tenha sido malfeito. O problema é que com uma amostra pequena não dá para obter um resultado confiável em princípio, por mais vezes que você repita.

O limite de 95% e o que as ferramentas mostram

A significância estatística responde a uma pergunta: qual a probabilidade de a diferença observada ter surgido por acaso. O padrão do setor é 95%, ou seja, probabilidade de acaso não maior que cinco por cento.

Aqui está a armadilha em que quase todo mundo cai. As ferramentas de e-mail mostram um nível de confiança, e a pessoa vê uma frase como «vencedor: variante A, 87% de confiança», que soa convincente.

Mas 87% de significância quer dizer que aproximadamente uma vez em oito você coroará uma variante que na verdade não é melhor. O limite de 95% não é arbitrário: abaixo dele o resultado não pode ser tratado como confiável.

Que lista um teste exige

O tamanho de amostra necessário depende de três coisas: o valor base da métrica, o tamanho da diferença que você quer detectar e a confiança desejada. Quanto menor a diferença, maior a amostra.

Uma referência prática são cerca de mil destinatários por variante como piso. Mas esse é o mínimo para diferenças grandes: detectar uma diferença de cinco por cento exige várias vezes mais.

Daí a tabela, que responde de imediato à pergunta «faz algum sentido eu testar?».

Uma dificuldade à parte: a conversão em compra é uma métrica de valor base baixo, normalmente de um dígito. Quanto menor o valor base, maior a amostra necessária. Testar conversão é por isso bem mais difícil que testar cliques, e para a maioria das listas fica fora de alcance.

O que testar primeiro

Com amostra limitada é preciso testar o que produz diferenças grandes. Ajustes menores de redação exigem amostras que você não tem.

• o assunto: afeta as aberturas e as diferenças podem ser grandes
• o horário de envio: às vezes produz diferenças de várias vezes
• a oferta: desconto contra frete grátis, uma diferença grande
• o botão principal: o texto e a posição
• o comprimento do e-mail: curto contra detalhado

Sobre o assunto há uma ressalva importante. Ele afeta sobretudo a abertura, e a abertura está distorcida pela proteção de privacidade do e-mail da Apple, que registra aberturas automaticamente. Ou seja, um teste de assunto mede uma métrica em que não dá para confiar.

A saída é medir o teste de assunto por cliques sobre enviados, e não por aberturas. O assunto também influencia esses; o efeito é mais fraco e a amostra precisará ser maior.

Regras que não dá para quebrar

• uma variável por vez, ou você não saberá o que funcionou
• divisão aleatória dos endereços, não alfabética nem por data de inscrição
• o mesmo horário de envio para as duas variantes
• não interromper o teste antes da hora porque a diferença parece bonita
• não declarar vencedor abaixo do limite de 95%
• repetir o teste antes de uma decisão importante

Sobre interromper antes, uma nota. Se você olha o resultado de hora em hora e para quando a diferença parece convincente, encontrará um «vencedor» mesmo onde não existe. O tamanho da amostra é definido antes do teste, não ao longo dele.

O que fazer com uma lista pequena

Isso não é uma sentença, e sim uma mudança de abordagem. Abaixo de alguns milhares de endereços, os testes A/B são substituídos por outras ferramentas.

• aplique decisões já conhecidas como boas sem testar: um botão em vez de três, espaçamentos, tamanho de fonte no celular
• compare tipos de e-mail entre si por receita por e-mail, não variantes de um mesmo e-mail
• observe a sua própria evolução mês a mês em vez de comparações pontuais
• acumule sinal qualitativo: o que as pessoas perguntam ao responder, do que reclamam

Vale ainda conhecer o teste acumulado. Envie o mesmo tipo de e-mail num padrão por vários meses, depois mude o padrão e compare períodos. A amostra se acumula sozinha. É mais lento que um teste A/B, mas funciona com qualquer lista.

Como fazer seu primeiro teste

A sequência é: formular uma hipótese, calcular a amostra necessária, dividir a lista ao acaso, enviar as duas variantes ao mesmo tempo, aguardar o prazo combinado e só então olhar o resultado.

A hipótese precisa ser testável. «Vamos ver qual assunto funciona melhor» não é hipótese. «Um assunto com um número concreto dará mais cliques que um assunto em forma de pergunta» é, porque tem um desfecho.

No Mailvex dá para montar duas variantes a partir de um mesmo modelo rapidamente: copie o e-mail, mude o elemento em teste e exporte os dois HTML para a sua plataforma de envio. O manual da marca é aplicado igualmente aos dois, então a diferença fica exatamente no elemento testado.

Perguntas frequentes

Qual é a lista mínima para um teste A/B?

Aproximadamente mil destinatários por variante, ou seja, uma lista de duas mil endereços em diante. E esse é o mínimo para diferenças grandes: detectar uma diferença de poucos pontos exige dezenas de milhares.

A ferramenta mostra 90% de confiança, posso declarar vencedor?

Não. O limite padrão é 95%. Com 90% você coroará uma variante que não é melhor cerca de uma vez em dez. Ou continua o teste ou aceita que nenhuma diferença foi detectada.

E se minha lista for pequena demais para testar?

Aplique decisões já conhecidas como boas sem testar, compare tipos de e-mail por receita por e-mail e observe sua evolução mês a mês. Comparar períodos acumulados funciona com qualquer lista, só que mais devagar.