Achas que o teu botão de apelo à ação devia ser maior. O teu colega acha que devia ser vermelho. O teu designer acha que o texto é demasiado longo. Todos têm opiniões. Mas as opiniões não aumentam as conversões. Os testes aumentam. Os testes A/B permitem-te responder a estas perguntas com dados em vez de debate. Cria a versão A com o botão atual. Cria a versão B com o botão maior. Corre as duas. Mede qual converte melhor. Uma ganha. Aplicas a vencedora. Sem debate. Sem adivinhar. Só resultados. Os testes A/B são poderosos, mas limitados. Só podes testar uma alteração de cada vez. E se quiseres testar o tamanho do botão, a cor e o texto em simultâneo? Os testes multivariados permitem-no. Testas oito combinações de uma vez, em vez de três testes A/B separados. Aprendes mais depressa. Otimizas mais. Este artigo explica os testes A/B e os testes multivariados e quando usar cada um.
O que são os testes A/B?
Os testes A/B são a forma mais simples de teste. Crias duas versões de uma página ou de um elemento. A versão A é o teu controlo. A versão B é o teu teste. Envias os visitantes aleatoriamente para cada versão. Medes qual converte melhor. A que tiver a taxa de conversão mais alta ganha. Os testes A/B também se chamam testes de divisão, porque divides o teu tráfego entre duas versões. Os testes A/B limitam-se a uma alteração de cada vez. Testas a cor do botão num teste. O tamanho do botão noutro. O texto do botão noutro. Mas são poderosos porque os resultados são claros. A versão B ou ganha, ou não ganha.
O processo do teste A/B
Começa com uma hipótese. A minha hipótese é que um botão maior converte melhor do que o botão atual. Desenha o teste. Cria a versão B com um botão maior. Configura o teste na tua plataforma de testes. Especifica a tua métrica de sucesso. O sucesso é uma taxa de conversão mais alta. Corre o teste. Envia tráfego para as duas versões. Recolhe dados. Corre o teste até teres significância estatística. Normalmente, cem conversões em cada versão. Analisa os resultados. A versão B é estatisticamente melhor de forma significativa? Se sim, aplica-a. Se não, mantém a original.
A significância estatística importa
Precisas de dados suficientes para os resultados terem significado. Se correres um teste durante um dia com dez conversões no total, os resultados não significam nada. A variação aleatória é demasiado alta. Se correres um teste com mil conversões, os resultados têm significado. A variação aleatória é baixa. A maioria das plataformas de testes diz-te quando tens significância estatística. Não pares um teste mais cedo só porque vês um vencedor. Espera pela significância estatística.
O que são os testes multivariados?
Os testes multivariados testam várias alterações em simultâneo. Em vez de testares a cor do botão e o tamanho do botão em separado, testas todas as combinações em conjunto. As combinações podem ser: vermelho grande, vermelho pequeno, azul grande, azul pequeno. Testas quatro variações de uma vez. O tráfego divide-se por quatro. Aprendes que combinação converte melhor. Os testes multivariados são mais eficientes do que correr testes A/B separados quando tens tráfego suficiente.
Teste A/B vs multivariado: quando usar cada um
Usa os testes A/B quando tens pouco tráfego. Com pouco tráfego, precisas de concentrar a tua amostra em menos variações para alcançar a significância estatística. Usa os testes A/B quando queres resultados claros e isolados. Queres saber se o vermelho converte melhor do que o azul, e mais nada. Usa os testes multivariados quando tens muito tráfego. Podes dar-te ao luxo de dividir o tráfego por muitas variações. Usa os testes multivariados quando suspeitas que os elementos interagem. A cor do botão pode interagir com o tamanho do botão. Testar combinações mostra estas interações.
Testar além do óbvio
A maioria das pessoas testa coisas óbvias. A cor do botão. O tamanho do botão. O tamanho do formulário. Estes testes importam. Mas testa também coisas menos óbvias. A especificidade do título. A posição da prova social. A velocidade de carregamento. Os sinais de confiança. O contraste de cores. O espaço em branco. A tipografia. As pequenas alterações acumulam-se. Encontra pequenas melhorias em muitos elementos e vão somar-se.
Testes sequenciais vs testes simultâneos
Os testes sequenciais correm um teste, aplicam o vencedor e correm o teste seguinte. É mais lento, mas mais claro. Cada teste constrói sobre a vitória anterior. Os testes simultâneos correm vários testes ao mesmo tempo. É mais rápido, mas mais complexo. Aprendes mais depressa, mas tens mais testes para gerir.
Perguntas frequentes
De quanto tráfego preciso para correr um teste A/B?
Precisas de tráfego suficiente para alcançar a significância estatística. A maioria dos testes precisa de cem conversões por variação. Se a tua taxa de conversão é de um por cento, precisas de dez mil visitantes por variação. Se a tua taxa de conversão é de dez por cento, precisas de mil visitantes. O tráfego necessário depende da tua taxa de conversão. Taxas de conversão mais baixas precisam de mais tráfego. Com o criador de websites da WEMASY, podes configurar isto diretamente no teu website.
Posso correr vários testes A/B ao mesmo tempo?
Sim, se tiveres tráfego suficiente. Testar o tráfego na pageA e na pageB ao mesmo tempo não tem problema. Não interferem uma com a outra. Testar a variação um e a variação dois na mesma página ao mesmo tempo pode interferir. O mesmo visitante não deve ver as duas variações. Usa a tua plataforma de testes para evitar isso.
E se o teste não mostrar diferença entre as variações?
Não haver diferença também são dados. Diz-te que a alteração que testaste não tem um impacto significativo na conversão. Podes manter a original ou aplicar a versão B, se for mais barata ou mais fácil. Passa à hipótese seguinte. Nem todos os testes têm vencedores.
Devo testar os elementos em separado ou em conjunto?
Começa por testar os elementos em separado. Isolar as alterações torna os resultados claros. Depois de teres otimizado os elementos individuais, testa combinações. Podes descobrir que o elemento A e o elemento B em conjunto funcionam melhor do que só o A ou só o B.
Com que frequência devo correr testes?
De forma contínua. A otimização de conversões é um trabalho permanente. Não corras dez testes e pares. Corre um teste atrás do outro. Cada teste ensina-te algo. Ao fim de cem testes, a tua taxa de conversão pode ser bastante mais alta. Isto leva tempo, mas acumula-se.
Que melhoria prática de conversão se pode esperar dos testes?
Um bom teste A/B pode melhorar a conversão em cinco a dez por cento. Um ótimo teste pode melhorá-la em vinte por cento. Estas melhorias são reais e são significativas quando as acumulas. Corre cinquenta testes vencedores com melhorias médias de cinco por cento e os ganhos acumulam-se: a tua taxa de conversão fica cerca de onze vezes mais alta, uma subida de mais de mil por cento. Nem todos os testes ganham, por isso os resultados reais são menores.