Porque é que adivinhar falha e testar vence
É por isso que adivinhar falha. Sem testes, não consegues separar o sinal do ruído. Não consegues dizer se uma alteração mexeu mesmo nos resultados ou se estás só a ver flutuações normais. Desperdiças meses a testar alterações que não funcionam. E perdes alterações que funcionam, porque as reverteste a pensar que não resultavam.
O teste A/B resolve isto ao eliminar a ambiguidade. Testas uma alteração em metade do teu tráfego. A outra metade fica como está. Medes a diferença com precisão. A estatística diz-te se a diferença é real ou sorte. Deixas de adivinhar. Passas a saber.
O que é realmente o teste A/B
Versão A contra versão B
O teste A/B compara duas versões de algo, mostrando-as a pessoas diferentes e medindo qual tem melhor desempenho. A versão A é a tua configuração atual. A versão B é a tua alteração. Mostras a A a cinquenta por cento dos visitantes. Mostras a B aos outros cinquenta por cento. Tudo o resto é idêntico. A única diferença é a coisa que mudaste.
Medir e comparar
Depois de visitantes suficientes terem visto as duas versões, analisas os resultados. A versão B converteu melhor do que a versão A? Em quanto? Essa diferença é real ou apenas variação aleatória? A estatística responde a estas perguntas com precisão.
O verdadeiro poder: a precisão
Esta precisão é o verdadeiro poder. Não o teste em si. A precisão. Sabes exatamente o que funciona para o teu público específico, no teu website específico, na tua altura específica. Os conselhos genéricos de outros websites não se aplicam a ti. Os teus dados aplicam-se.
O custo escondido de adivinhar
Uma má alteração custa meses de receita
Imagina que ganhas cem dólares de lucro por cliente. O teu website recebe dez mil visitantes por mês. Dois por cento São duzentos clientes por mês. Vinte mil dólares de lucro por mês.
Achas que uma alteração pode ajudar. Fazes a alteração sem testar. Se a alteração prejudicar a conversão em um por cento, passas a ter apenas cem clientes. O lucro desce para dez mil dólares. Perdeste dez mil dólares nesse mês.
As perdas silenciosas acumulam-se
Podes nem reparar. Podes pensar que a receita está só mais baixa este mês por outros motivos. Manténs a má alteração. No mês seguinte, a mesma história. Dez mil dólares de perda. De um ano para o outro, perdeste cento e vinte mil dólares por não teres testado.
Esse é o custo escondido de adivinhar. Não é a má decisão ocasional. É o dano constante, de baixo nível, de alterações que prejudicam um pouco ou ajudam um pouco, sem nunca saberes qual é qual.
Testar evita perdas silenciosas
Testar evita isto. Uma má alteração é apanhada. Vês que é pior. Revertes. Uma perda em vez de doze.
O que separa os vencedores de todos os outros
As grandes empresas testam constantemente
As grandes empresas testam constantemente. As maiores lojas online fazem milhares de testes por ano. Os serviços de streaming testam. As plataformas de viagens testam. Testam porque testar se acumula. Uma melhoria de um por cento por mês acumula-se numa melhoria anual de doze por cento. Uma melhoria de cinco por cento por mês acumula-se numa melhoria anual de oitenta por cento.
As pequenas empresas raramente testam
As pequenas e médias empresas raramente testam. Acham que testar é para empresas de tecnologia com equipas de engenharia. Adivinham. Perdem dinheiro devagar sem saber porquê.
Testar é a vantagem
As empresas que vencem são as que testam mais do que a concorrência. Não são mais inteligentes. Não são melhores. Testam mais. É só isso. Testar é um hábito, não uma competência. Qualquer pessoa consegue.
Testar versus mudar
Mudar é adivinhar
Mudar é adivinhar. Mudas uma coisa. Vês se a receita sobe. Se subir, manténs. Se não subir, voltas atrás. Isto demora meses. Não fazes ideia se a alteração causou o resultado. Podes reverter uma alteração vencedora só porque tiveste azar com o momento.
Testar é saber
Testar é saber. Mudas uma coisa de forma sistemática. Medes o antes e o depois com precisão. A estatística diz-te se a alteração fez diferença. Ficas a saber logo. Consegues fazer dezenas de testes no tempo que demoras a fazer uma só suposição.
A maioria das empresas muda sem testar. Poucas testam. Quem testa vence quem adivinha.
Ideias erradas que matam programas de testes
Testar demora demasiado
Errado. A maioria dos testes termina em uma a duas semanas. Se o teu teste demora três meses, não tens tráfego suficiente. Mas isso é um problema de tráfego, não de testes.
Testar é caro
Errado. Testar é grátis ou barato. Algumas ferramentas são gratuitas. As plataformas pagas começam por volta de quinhentos dólares por mês. Isso não é nada comparado com o impacto na receita. Um teste que melhore a conversão em um por cento paga as ferramentas durante o ano inteiro.
Só os websites grandes podem testar
Errado. Testar funciona em qualquer website com pelo menos quinhentos visitantes por mês. A maioria ultrapassa esse valor. Os websites de pequenas empresas são os que mais beneficiam, porque pequenas melhorias representam grandes ganhos percentuais.
É preciso uma configuração perfeita
Errado. Uma boa configuração vence o planeamento perfeito. Começa a testar hoje com uma configuração simples. Melhora o processo à medida que aprendes.
O compromisso que importa
Testar só cria valor se aplicares os vencedores
A pergunta não é como testo, mas o que vou fazer com os testes vencedores. Algumas empresas testam mas nunca aplicam os vencedores. Fazem o teste. A variante vence. Dizem que vão aplicar mais tarde. Esse mais tarde nunca chega.
Os testes vencedores só criam valor se os aplicares. E os testes vencedores inspiram testes seguintes. Se mudar a cor do botão aumenta a conversão em dois por cento, e o tamanho do botão? A posição do botão? O texto do botão? Um teste leva a outro. Testar não é pontual. É contínuo.
Acumular através do compromisso
As empresas que mais beneficiam de testar são as que se comprometem a aplicar os vencedores e a fazer testes seguintes. Integram os testes na cultura. Mês após mês. Ano após ano. Pequenas melhorias acumulam-se num crescimento enorme.
Perguntas frequentes
Como sei se o meu negócio é grande o suficiente para testes A/B?
Se tens quinhentos visitantes por mês, podes testar. A maioria dos websites de negócios ultrapassa este valor. Se estás abaixo de quinhentos, concentra-te primeiro no tráfego. Quando chegares aos quinhentos, começa a testar. Com o criador de websites do WEMASY, podes configurar isto diretamente no teu website.
Se vendo produtos caros com poucos clientes, posso testar na mesma?
É mais difícil, mas possível. O tempo escala de forma diferente. Com um cliente por mês, o teste demora meses. Mas aplica-se o mesmo princípio. Testa alterações de grande impacto. Evita alterações de baixo impacto que não vão importar com o teu volume.
Qual é a diferença entre um teste que vence e um teste em que o vencedor falha?
Aplicas o vencedor. Funciona durante um mês. No segundo mês já não funciona tão bem. Isto acontece. Algo mudou. O público mudou. Efeito sazonal. Repete o teste. O vencedor pode inverter-se. Documenta esta aprendizagem.
Devo testar com clientes que regressam, com clientes novos ou com ambos?
Testa com todos. Comportam-se de forma diferente, mas ambos contam para o negócio. Os clientes novos são a primeira impressão. Os clientes que regressam são a fidelidade. Testa com todos. Se quiseres detalhe, analisa-os separadamente depois.
Estou a fazer um teste e estou a perder por muito. Devo parar mais cedo?
Não. Deixa correr a duração completa. Os resultados iniciais enganam. Imagina que não és tu a fazer o teste. Imagina que não tinhas interesse nenhum. Quererias saber os resultados preliminares ao fim de uma semana? Provavelmente não. Espera pelos dados reais.
Como convenço a minha equipa a testar em vez de adivinhar?
Mostra dinheiro. Faz um teste. A variante vence. Calcula o impacto na receita. Este teste aumentou a receita em cinco mil dólares por mês. Se um teste médio melhora três por cento, podemos acumular um crescimento enorme. O dinheiro convence.