Correr o teste durante pouco tempo (viés de espreitar)
O erro
O maior erro: ver os resultados ao fim de uma semana quando o teste estava planeado para duas.
Porque é que é um erro
Uma semana dá quatrocentas conversões por variação. Duas semanas dão oitocentas. Com quatrocentas, o ruído aleatório é maior. Vês diferenças que desaparecem com mais dados.
Exemplo: a primeira semana mostra a variante com nove por cento de conversão. O controlo tem oito por cento. Uma vitória de um por cento parece real. Espreitas e ficas entusiasmado. Segunda semana: a variante desce para oito vírgula cinco por cento. O controlo mantém-se nos oito por cento. Uma vitória de meio por cento. Continua a ser estatisticamente significativa, mas muito menor do que a primeira semana mostrava.
Se tivesses parado na primeira semana, terias sobrestimado o benefício da variante em cinquenta por cento.
Como evitar
Define a duração antes de começar o teste. Duas semanas é o normal. Escreve-a. Não espreites. Põe um lembrete no calendário para a data de fim.
Testar várias alterações ao mesmo tempo
O erro
Mudas o título. Mudas a cor do botão. Mudas o texto do botão. Mudas os campos do formulário. Quatro alterações em simultâneo.
Porque é que é um erro
A variante converte a doze por cento. O controlo a dez por cento. Uma vitória de dois por cento. Implementas as quatro alterações.
Um mês depois: a conversão cai para nove por cento. Algo se estragou. Mas qual das alterações? O título? O botão? O formulário? Mudaste quatro coisas e não sabes qual prejudicou. Não consegues perceber que alteração foi benéfica e qual foi prejudicial.
Como evitar
Apenas uma alteração. Muda só o título. Testa-o. Implementa se ganhar. Depois testa a cor do botão. Depois o formulário. Uma variável de cada vez.
Erros de medição e testes avariados
O erro
O teste corre durante duas semanas. Os resultados mostram a variante a ganhar por cinco por cento. Implementas. Um mês depois percebes que a medição estava avariada. O pixel de conversão não disparou para noventa por cento dos visitantes.
Porque é que é um erro
Os resultados não servem para nada. A implementação baseou-se em dados maus. Gastaste recursos de engenharia a implementar algo com base em resultados inválidos.
Como evitar
Verifica a configuração do teste por amostragem. Percorre um fluxo simples à mão. O evento dispara? Consulta os registos de medição. Confirma que o pixel está a disparar. Audita a medição antes de declarar um vencedor.
Tamanho de amostra insuficiente
O erro
Corres um teste com apenas quinhentas conversões no total. Duzentas e cinquenta por variação. Com uma amostra tão pequena, o ruído aleatório é enorme. Diferenças de cinco por cento são comuns. Diferenças de dez por cento não são de estranhar.
Vês a variante cinco por cento acima do controlo. Sem significância estatística. Declaras o teste inconclusivo.
Porque é que é um erro
Tinhas pouca potência desde o início. Devias ter sabido que o teste precisava de duas semanas, não de uma. Testes com pouca potência desperdiçam tempo e produzem resultados inconclusivos.
Como evitar
Calcula o tamanho da amostra antes de começar. De quantas conversões precisas? Quanto tempo demora o teste a chegar lá? Se o teste demorar três meses, considera testar outra coisa com resultados mais rápidos.
Não controlar os fatores externos
O erro
Corres o teste de terça a quinta. Tens os resultados de segunda antes do teste. E os de sexta depois do teste. Comparas a sexta com a segunda.
Mas o tráfego de sexta é diferente do de segunda. A sexta é de navegação casual de fim de semana. A segunda é de navegação de trabalho. Públicos diferentes. Taxas de conversão diferentes. Atribuis a diferença ao teste quando, na verdade, é uma diferença de composição.
Porque é que é um erro
Implementaste uma alteração com base numa diferença de composição do tráfego, e não na eficácia da variante. Quando chega uma nova composição de tráfego, os resultados não se mantêm.
Como evitar
Corre o teste o tempo suficiente para equilibrar a composição do tráfego. Duas semanas incluem dias úteis e fins de semana. Uma semana pode ficar enviesada.
Mudar a hipótese a meio do teste
O erro
Começas o teste com a hipótese: um formulário mais curto aumenta os envios.
A meio, recebes novos dados do apoio ao cliente. Os clientes querem mais opções nos campos. Mudas a hipótese: talvez mais campos até ajudem. Agora tens um teste desenhado para uma hipótese a ser analisado como se fosse outra.
Porque é que é um erro
Confunde os resultados. Não consegues dizer que hipótese o teste estava realmente a testar. Podes acabar a implementar com base numa interpretação confusa.
Como evitar
Escreve a hipótese antes de começar o teste. Compromete-te com ela. Se receberes nova informação e quiseres testar outra hipótese, termina o teste atual. Depois corre um novo teste.
Não implementar os vencedores
O erro
O teste termina. A variante ganha. Dizes "vamos implementar mais tarde". Esse mais tarde nunca chega. O teste não criou valor nenhum. Perdeste tempo.
Porque é que é um erro
Os vencedores só criam valor se forem implementados. Um programa de testes só se acumula se implementares os vencedores de forma consistente. Um vencedor por implementar mata o ritmo e a confiança da equipa nos testes.
Como evitar
Compromete-te com a implementação antes de correr o teste. Se a variante ganhar, implementa em menos de uma semana. Se o controlo ganhar, reverte de imediato. Não deixes os vencedores parados.
Não segmentar os resultados
O erro
Os resultados globais mostram que a variante ganha. Implementas para todos.
Mas a segmentação mostra: no computador, a variante ganha. No telemóvel, a variante perde. A nível internacional, a variante não tem impacto. A implementação global prejudica os visitantes de telemóvel e os internacionais.
Porque é que é um erro
Otimizaste para a média global, mas prejudicaste segmentos específicos. O tráfego de telemóvel pode crescer mais depressa do que o de computador. Ao implementares a variante, prejudicas o segmento de crescimento futuro.
Como evitar
Verifica sempre os resultados por segmento antes de declarar um vencedor global. O vencedor pode não ser universal. Implementa nos segmentos em que ganha. Não implementes nos segmentos em que não ganha.
Confundir o vencedor com o sentido da causalidade
O erro
O teste mostra que a variante vence o controlo. Assumes que a variante é melhor. Mas e se o controlo estiver simplesmente avariado? O botão do controlo não funciona. Toda a gente fica confusa. O botão da variante funciona bem. A variante ganha porque o controlo está avariado, não porque a variante seja melhor por natureza.
Porque é que é um erro
Aprendes a lição errada. Pensas que o estilo do botão ganha, quando na realidade aprendeste que "um botão que funciona vence um botão avariado". Implicações diferentes para os testes futuros.
Como evitar
Percebe porque é que a variante ganhou. Foi porque a variante é melhor ou porque o controlo é pior? Implicações diferentes.
Repetir o mesmo teste à procura de um resultado diferente
O erro
Teste um: a variante perde para o controlo. Tentas outra vez com uma ligeira variação. Teste dois: o mesmo resultado. O controlo volta a ganhar. Tentas de novo. Teste três: o mesmo padrão. O controlo continua a ganhar.
Estás a testar a mesma coisa repetidamente e a obter o mesmo resultado.
Porque é que é um erro
Estás a desperdiçar orçamento de testes numa abordagem que não funciona. É melhor mudar para uma abordagem diferente do que continuar a testar a mesma estratégia perdedora.
Como evitar
Pára de testar a mesma coisa. É preciso uma estratégia diferente. A abordagem atual não está a funcionar. Muda para uma variante diferente.
Não documentar os resultados e o que aprendeste
O erro
O teste termina. Os resultados mostram um vencedor. Implementas. Depois esqueces-te.
Seis meses depois: um novo membro da equipa pergunta "o que aprendemos sobre títulos?". Não tens documentação. Começas do zero.
Porque é que é um erro
Perdes o conhecimento da organização. Cada teste deve ensinar-te alguma coisa. Sem documentação, o conhecimento desaparece quando as pessoas saem da equipa.
Como evitar
Documenta cada teste. Hipótese. Resultados. O que aprendeste. Partilha com a equipa. Constrói conhecimento da organização.
Perguntas frequentes
Se verificar os resultados do teste uma vez por semana, estou a espreitar?
Não, se te comprometeres com a duração de duas semanas e não mudares de comportamento com base nos resultados da primeira semana. Estás a acompanhar, mas não a parar mais cedo. Verificar é aceitável. Parar mais cedo é espreitar. Exemplo: a primeira semana mostra a variante com nove por cento e o controlo com oito por cento. A variante parece vencedora. Não implementes já. Compromete-te com as duas semanas completas. A segunda semana pode mostrar a variante com oito vírgula oito por cento e o controlo com oito por cento. Surge uma diferença menor. Se tivesses parado na primeira semana, terias sobrestimado o benefício em cinquenta por cento. Compromete-te com a duração, verifica semanalmente se quiseres, mas não ajas com base em resultados preliminares. Com o criador de websites da WEMASY, podes configurar isto diretamente no teu website.
Posso testar duas coisas semelhantes em simultâneo (títulos diferentes testados em regiões diferentes)?
Sim, se as regiões forem realmente separadas e não as estiveres a comparar. Testa o título A contra o B no tráfego dos EUA. Testa o título C contra o D no tráfego da UE. São testes separados. Testar em paralelo é aceitável. Mas não compares o A com o C entre regiões, porque a composição é diferente. Os públicos regionais convertem a taxas diferentes. Os EUA podem ter uma base de doze por cento. A UE pode ter uma base de oito por cento. O título A ganha na região dos EUA. O título C ganha na região da UE. Não podes concluir que o título A é melhor em geral, porque as regiões têm bases diferentes. Testa em paralelo, mas analisa em separado.
Se os resultados não mostram diferença significativa, devo assumir que as variantes são idênticas?
Não. Assume que a diferença não é clara. Podem ser idênticas. Podem ser diferentes, mas precisavam de mais dados para se detetar. Exemplo: o controlo tem quinhentas conversões. A variante tem quinhentas e cinco. Uma diferença de um por cento. Oitenta e oito por cento de confiança. Não é significativo. Não podes concluir que são idênticas. Só podes concluir que a diferença não é clara. Opções: correr o teste mais tempo para obter mais dados. Ou, se a variante for mais fácil de implementar do que o controlo, passar para a variante porque, no pior dos casos, são idênticas e, no melhor, a variante é melhor. Se o controlo for mais fácil, mantém o controlo.
E se o meu teste mostrar um resultado estatisticamente significativo mas, intuitivamente, parecer errado?
Confia nas estatísticas, não na intuição. A matemática é mais esperta do que a intuição. Se as estatísticas dizem que o resultado é real (noventa e cinco por cento de confiança), provavelmente é. A tua intuição pode estar errada. A tua intuição baseia-se em experiência limitada. As estatísticas baseiam-se em milhares de visitantes. Implementa com base nas estatísticas. Exemplo: achas que o botão vermelho tem melhor desempenho do que o azul. O teste mostra que o botão azul ganha de forma significativa. A tua intuição estava errada. Implementa o botão azul. Confiar na intuição e ignorar os dados do teste teria implementado o botão vermelho e prejudicado a conversão.
Posso combinar vários resultados pequenos e não significativos num único resultado grande e significativo?
Não. Cada teste vale por si. Não podes combinar testes inconclusivos num resultado conclusivo. O teste um mostra oitenta e cinco por cento de confiança de que a variante ganha. O teste dois mostra oitenta por cento de confiança de que a mesma variante ganha. Juntos dão noventa e cinco por cento de confiança? Não. As estatísticas não funcionam assim. Cada teste é independente. Combiná-los é um disparate estatístico. Corre um teste com o tamanho certo e a potência certa desde o início. Ou tens significância ou não tens.
Se o teste mostra um resultado forte num segmento mas fraco no global, qual implemento?
Implementa só para o segmento se o resultado forte for estatisticamente significativo nesse segmento. Se o segmento for pequeno (dez por cento do tráfego), é mais difícil atingir o limiar de significância. Pode ser um falso positivo no segmento. Verifica a significância estatística do segmento em concreto, não apenas a global. Exemplo: o teste global mostra a variante com nove por cento e o controlo com oito vírgula nove por cento. Mal é significativo. Mas o segmento de computador mostra a variante com dez por cento e o controlo com oito por cento. Uma vitória de dois por cento no computador. Forte e significativa para o computador. O segmento de telemóvel mostra a variante com oito por cento e o controlo com oito por cento. Sem diferença. Implementa só para o computador. Não implementes para o telemóvel. Segmentos diferentes têm variantes ideais diferentes.