Passo um: escreve a hipótese com detalhes concretos
Uma hipótese vaga falha
Não assim: mudar o checkout melhora a conversão.
Uma hipótese específica vence
Melhor assim: achamos que simplificar o checkout, passando de um processo de cinco passos para um formulário numa só página, vai aumentar em pelo menos três por cento as compras concluídas, porque os clientes desistem quando o formulário parece longo.
A hipótese deve dizer. O que estás a mudar. Porque achas que vai ajudar. Que métrica esperas melhorar. E em quanto.
Uma hipótese vaga leva a resultados vagos. Uma hipótese específica pode ser testada.
Passo dois: define o tamanho da amostra antes de começar
A matemática importa
De quantos visitantes precisas para ver uma diferença real.
Fórmula. Precisas de no mínimo quinhentas conversões por variação. Ou seja, mil no total se testares duas versões.
Calcula a duração do teste
Se converteres a dois por cento e tiveres dois mil visitantes por mês, ficas com quarenta conversões por mês. Chegar às quinhentas conversões leva doze meses. O teste não vai acabar a tempo.
Se converteres a dez por cento e tiveres cinco mil visitantes por mês, ficas com quinhentas conversões por mês. Chegar às mil leva dois meses. O teste acaba depressa.
Conhece o calendário desde o início
Os websites com taxa de conversão baixa precisam de testes mais longos. Os websites com conversão alta acabam mais depressa.
Usa uma calculadora de tamanho de amostra. Introduz a tua taxa de conversão e o teu tráfego. A calculadora diz-te quanto tempo o teste demora.
Se o teste demorar mais de três meses, pondera. Vale a pena esperar três meses por esta alteração. Ou devemos testar outra coisa que acabe mais depressa.
Passo três: escolhe a distribuição do tráfego do teste
Cinquenta-cinquenta é o habitual
Atribui cinquenta por cento ao controlo. E cinquenta por cento à variação.
Uma distribuição cautelosa atrasa os resultados
Há quem distribua noventa-dez. Noventa por cento para a versão atual, que é boa, e dez por cento para a versão nova, de que não têm a certeza. É cauteloso, mas atrasa o teste.
Cinquenta-cinquenta é o habitual. Dá os resultados mais rápidos.
Passo quatro: define a duração do teste antes de o iniciar
Compromete-te com o calendário
Uma semana no mínimo. Duas semanas é o habitual. Um mês para sites com muito tráfego.
Não decidas a duração durante o teste. Decide antes. Escreve-a. Compromete-te com ela.
Espreitar cedo estraga os testes
Espreitar cedo estraga os testes. Vês os resultados ao fim de uma semana. Parece que a variação está a ganhar. Paras o teste. Aplicas a alteração. Mais tarde percebes que os resultados não eram reais. Aplicaste algo que na verdade não funcionava.
Deixa correr a duração completa.
Passo cinco: faz a alteração da variação
Só uma alteração
Só uma alteração. Não várias.
Se estás a testar a simplificação do checkout, simplifica o formulário. Não mudes a cor, o texto e o esquema ao mesmo tempo. Uma variável de cada vez.
Torna-a evidente
A alteração deve ser evidente. Os visitantes devem notar a diferença. Se a alteração for tão subtil que os visitantes não a veem, o teste não vai funcionar.
Passo seis: configura o teste na ferramenta
Escolhe a tua plataforma
Usa uma plataforma de testes. . . .
Instala e configura
Liga ao website. Instala o código de acompanhamento. Costuma ser uma linha de código ou a instalação de um plugin.
Cria as versões e as métricas
Cria a versão de controlo. É a versão atual.
Cria a versão de teste. Aplica a tua alteração.
Define a divisão do tráfego. Cinquenta por cento para cada uma.
Define a duração. Duas semanas ou o tempo que determinaste.
Define a métrica de sucesso. O que estás a medir. Checkout concluído. Formulário enviado. Deslocamento na página.
Passo sete: deixa correr sem espreitar
Resiste à vontade
É difícil. Resiste à vontade de ver os resultados.
Os resultados de poucos dias não significam nada. A variação aleatória é enorme com uma amostra pequena. Vais ver resultados que depois desaparecem.
Define um lembrete no calendário
Vê os resultados exatamente na data de fim. Não antes.
Define um lembrete no calendário para a data de fim do teste. Vê nessa altura.
Passo oito: analisa os resultados da forma correta
Procura a significância estatística
O teste acaba. Olhas para os resultados. A variação converteu a onze por cento. O controlo a dez por cento. A variação é melhor. Certo.
Mas foi estatisticamente significativo. É real ou foi sorte.
Procura o intervalo de confiança ou o valor p. Deve estar acima de noventa e cinco por cento de confiança ou abaixo de zero vírgula zero cinco no valor p.
O que significa significância estatística
Se a significância estatística disser que sim, o resultado é real. Aplica a variação.
Se a significância estatística disser que não, o resultado não é claro. Pode ser sorte. Pode ser real, mas ter precisado de mais tempo. Deixa o teste correr mais tempo ou tenta uma alteração diferente.
Passo nove: aplica e documenta
Se a variação ganhar
Se a variação ganhar, aplica-a de forma permanente.
Documenta o que aprendeste. Porque achaste que ia funcionar. O que aconteceu. O que vais testar a seguir.
Constrói um manual. Com o tempo, surgem padrões. Aprendes o que funciona para o teu público.
Se o controlo ganhar
Se o controlo ganhar, reverte a alteração.
Documenta porque o controlo ganhou. Talvez a tua hipótese estivesse errada. Talvez a alteração não fosse suficientemente visível. Talvez o público não tenha gostado da alteração.
Um teste perdido continua a ser aprendizagem.
Erros comuns no primeiro teste
Deixar o teste correr pouco tempo
Ao fim de uma semana estás impaciente. Paras. Os resultados ainda não são reais.
Testar várias alterações
Mudaste o formulário, o botão e o texto. O formulário ganha, mas foi o formulário ou o botão. Agora já não sabes.
Não exigir significância
A variação é um por cento melhor. Pode ser sorte. Aplicas. Mais tarde não se sustenta.
Testar com toda a gente
Estás nervoso com a alteração. Testas com noventa por cento na versão atual e dez por cento na nova. O teste demora uma eternidade.
Não te comprometeres com a aplicação
O teste acaba. A variação ganha. Dizes que vais aplicar mais tarde. Nunca o fazes. O teste não criou valor nenhum.
O que separa os vencedores de todos os outros
Não é testar de forma mais inteligente
Não é testar de forma mais inteligente. É testar com consistência.
O padrão vencedor
As empresas vencedoras fazem um teste. Os resultados chegam. Aplicam logo. Fazem o teste seguinte.
Comprometem-se com um programa de testes. Não com testes isolados. Testes contínuos. Mês após mês.
Constroem conhecimento interno. Depois de cinquenta testes, conhecem o seu público. Sabem o que funciona. Sabem o que não funciona. Movem-se mais depressa do que a concorrência.
Crescimento composto
Testa uma vez e não acontece nada. Testa cinquenta vezes e tudo muda.
Perguntas frequentes
E se descobrir a meio que o teste está avariado? Por exemplo, o registo deixou de funcionar. Devo recomeçar?
Sim. Um teste avariado é inútil. Recomeça do zero. Se o registo está avariado, não tens dados reais. É por isso que deves verificar o teste de vez em quando (sem obsessão, mas pelo menos uma vez). Apanha as avarias cedo. Com o criador de websites da WEMASY, podes configurar isto diretamente no teu website.
Posso mudar a hipótese do teste enquanto ele decorre, se surgir informação nova?
Não. Escreve a hipótese antes de o teste começar. Mantém-na. Se a hipótese parecer errada a meio do teste, anota isso. Mas termina o teste com a hipótese original. Faz mais tarde um teste novo com a nova hipótese.
Se a variação for claramente pior, posso parar o teste mais cedo?
Só se estiver a estragar alguma coisa. Se a variação estiver a causar erros, pára. Caso contrário, não. Mesmo que esteja a perder por muito, deixa correr a duração completa. Aprende porque perdeu. Usa essa aprendizagem.
O que faço se a significância estatística disser que não, mas eu achar que o resultado é real?
Repete o teste. A mesma alteração. Mas com mais duração ou com mais tráfego. Se o resultado for real, vai aparecer outra vez. Se não aparecer, a intuição estava errada e a matemática estava certa.
Como sei qual é a variação de controlo e qual é a variação de teste nos resultados?
A tua ferramenta de testes vai identificá-las. Garante que sabes qual é qual antes de começar. Tira uma captura de ecrã. O controlo é a versão A. A variação é a versão B. Quando os resultados chegarem, consulta as tuas notas.
Preciso de dizer à minha chefe que estou a fazer testes ou posso só mostrar os resultados?
Diz-lhe. Vai perceber que testar leva tempo. Define expectativas. O teste demora duas semanas. Se a variação ganhar, aplicamos. Se não, tentamos outra coisa. A transparência evita surpresas quando não aplicas uma alteração que ela esperava.