Tens um título na tua página de produto. Achas que um título diferente pode converter melhor. Podias adivinhar. Ou podias mostrar a metade dos visitantes o título antigo e à outra metade o novo, medir a taxa de conversão de cada um e deixar os dados decidir qual é melhor. Isto é a análise de testes A/B.
Os testes A/B usam dados para comparar variações e encontrar a vencedora. Este artigo explica como funcionam os testes A/B, o que significa significância estatística, porque importa o tamanho da amostra, os erros comuns nos testes e como escolher variações que valem a pena testar.
Os testes A/B (também chamados split testing) comparam duas versões de algo para ver qual funciona melhor. Versão A (controlo): o teu título atual. Versão B (variação): um título diferente. Divides o teu tráfego 50/50, medes qual título converte mais e declaras um vencedor.
Os testes A/B respondem: esta mudança é mesmo melhor ou a diferença é só sorte? Sem testes, confias no instinto. Com testes, confias nos dados.
O que são os testes A/B e a que respondem
Um teste A/B compara duas versões e mede qual funciona melhor numa métrica específica. Taxa de clique. Taxa de conversão. Tempo na página. Receita por visitante. Corres o teste até teres dados suficientes para decidir.
Um teste A/B responde: a diferença entre estas versões é real ou aleatória? Vale a pena fazer esta mudança ou devo tentar outra coisa? A resposta vem dos dados, não da opinião.
Como funciona a significância estatística
Testas dois títulos. O título A converte 10 por cento (100 em 1000). O título B converte 10,5 por cento (105 em 1000). O título B é melhor. Mas a diferença é real ou só variação aleatória?
A significância estatística responde: se não houvesse diferença entre estes títulos, qual a probabilidade de veres uma diferença tão grande só por acaso? Se a probabilidade for muito baixa (menos de 5 por cento), a diferença é estatisticamente significativa. Podes confiar que é real.
Se a probabilidade for alta (mais de 5 por cento), a diferença pode ser sorte aleatória. Não deves agir com base nela.
A maioria dos testes exige 95 por cento de confiança, o que significa aceitar apenas 5 por cento de hipótese de a diferença ser aleatória. Alguns testes exigem 99 por cento de confiança (apenas 1 por cento de hipótese de aleatoriedade).
Porque é que o tamanho da amostra importa nos testes
Testas o título B em 20 pessoas e obténs uma taxa de conversão de 20 por cento (4 conversões). O título A teve 10 por cento (2 conversões). O título B é melhor, certo? Talvez. Ou talvez seja sorte aleatória com uma amostra tão pequena.
Testa os mesmos títulos em 10 000 pessoas. O título A obtém 1000 conversões em 10 000 (10 por cento). O título B obtém 950 conversões em 10 000 (9,5 por cento). Agora o título A é melhor. Com uma amostra maior, a aleatoriedade alisa-se e surgem os padrões reais.
Amostras maiores dão-te mais confiança no resultado. As amostras menores têm ruído e não são fiáveis.
Erros comuns nos testes A/B
Parar o teste cedo demais: vês uma variação a ganhar ao fim de dois dias. Declaras vitória e ativas. Mas ao fim de duas semanas o padrão inverte-se e a original ganha. Os primeiros dados eram variação aleatória. Deixa o teste correr o tempo suficiente (pelo menos duas semanas, idealmente quatro).
Correr demasiados testes ao mesmo tempo: testas o título, a cor do botão e o comprimento do formulário ao mesmo tempo. Uma variação ganha, mas não sabes que elemento a causou. Testa uma coisa de cada vez.
Testar mudanças insignificantes: testas a cor de um botão (azul contra um azul ligeiramente mais escuro). O teste precisa de 100 000 visitantes para mostrar uma diferença estatisticamente significativa. Testa mudanças que importam (título contra uma proposta de valor diferente, não azul contra um azul ligeiramente menos azul).
Ignorar a sazonalidade: corres um teste de novembro a janeiro. A tua variação ganha. Mas janeiro é época mais lenta. Quando a corres durante o ano inteiro, perde. Corre sempre os testes ao longo de várias estações.
Confundir correlação com causalidade: a variação B ganha. Assumes que a mudança causou a vitória. Mas também lançaste uma campanha de marketing durante o teste. A campanha, não a variação, causou a vitória. Controla os fatores externos.
Como escolher o que testar
Testa mudanças com grande impacto potencial. As mudanças pequenas podem não fazer diferença mesmo que ganhem. Mudar a cor de um botão pode aumentar a conversão em 0,5 por cento. Mudar um título pode aumentá-la em 5 por cento. Testa primeiro as mudanças maiores.
Testa mudanças alinhadas com a tua hipótese. Se a tua hipótese é "o formulário de pagamento confuso causa desistência", testa um formulário mais simples. Não testes cores e posições de botões ao acaso.
Testa as mudanças uma de cada vez. Se mudares o título, o texto do botão e os campos do formulário em simultâneo, não consegues saber qual causou a melhoria.
Como ler os resultados de um teste A/B
O resultado mostra: a variação A teve uma taxa de conversão de 10 por cento. A variação B teve uma taxa de conversão de 11 por cento. B é 10 por cento melhor (melhoria relativa). O nível de confiança é 95 por cento, com um valor p de 0,03.
O que isto significa: a variação B é melhor. Temos 95 por cento de confiança de que esta diferença é real e não sorte aleatória.
Se o nível de confiança for 85 por cento (valor p 0,15), o resultado não é estatisticamente significativo. Não deves declarar um vencedor; são precisos mais dados.
Quando continuar a testar e quando parar
Continua a testar se: o resultado não é estatisticamente significativo e ainda não chegaste ao teu objetivo de amostra, ou aprendeste algo inesperado e queres ir mais fundo.
Pára de testar se: chegaste à significância estatística e podes declarar um vencedor, ou corres o teste há quatro semanas ou mais e os resultados não se aproximam da significância. Nesse ponto, as variações são provavelmente igualmente boas.
Perguntas frequentes
De quantos visitantes preciso para um teste A/B válido?
Depende da tua taxa de conversão de base e do tamanho da mudança que queres detetar. Para um site pequeno com 100 visitantes por dia, podes precisar de duas semanas para chegar à significância estatística. Para um site grande com 10 000 visitantes por dia, podes chegar lá em dois dias. Usa uma calculadora de tamanho de amostra (a maioria das ferramentas de testes A/B tem uma incluída). Com o criador de websites da WEMASY, podes configurar isto diretamente no teu website.
O que significa um valor p de 0,05?
Significa que há 5 por cento de hipótese de a diferença que estás a ver ser sorte aleatória. Um nível de confiança de 95 por cento. A maioria das pessoas usa 0,05 como limite: se o valor p for inferior a 0,05, o resultado é estatisticamente significativo.
Posso ver os resultados durante um teste e parar cedo se uma variação estiver a ganhar?
Não. Isto chama-se espreitar e leva a conclusões erradas. Se paras cedo quando uma variação está à frente, podes perder o verdadeiro vencedor. Deixa sempre o teste correr durante a duração planeada.
E se o meu teste tiver uma melhoria muito grande mas pouca significância estatística?
Normalmente significa que a tua amostra é pequena demais. Tens um sinal promissor, mas não tens dados suficientes para o confirmar. Corre o teste durante mais tempo ou consegue mais tráfego.
Devo testar um elemento ou vários ao mesmo tempo?
Testa um elemento de cada vez (os testes multivariados são complexos e geralmente não compensam, a não ser que tenhas muito tráfego). Testar uma coisa diz-te o que causou a mudança.
Quantos testes A/B devo correr em simultâneo?
Em geral, um de cada vez, sobretudo se és novo nos testes. Quando tiveres experiência e muito tráfego, podes correr vários testes em páginas diferentes em simultâneo. Não corras dois testes na mesma página ao mesmo tempo.