A diferença entre projetos de testes e cultura de testes
Projeto de testes
Fazes alguns testes. Vês o que funciona. Segues em frente. Os testes são uma ferramenta que usas quando é preciso. Depois paras.
Cultura de testes
Fazes testes continuamente. Os vencedores informam o teste seguinte. A aprendizagem acumula-se. Ano após ano, os testes compõem-se.
Cada alteração é testada. Cada decisão é baseada em dados. Testar é a forma como tomas decisões, não um projeto que fazes de vez em quando.
As empresas com cultura de testes superam os concorrentes que não a têm. Não por muito em cada teste. Mas ao longo dos anos, isso compõe-se numa vantagem enorme.
Conseguir o apoio da liderança
O problema
A maioria dos programas de testes falha porque a liderança não percebe os testes ou não se compromete com eles.
O que a liderança ouve
Quando propões um programa de testes, a liderança ouve: isto vai levar tempo e custar dinheiro.
O que a liderança precisa de ouvir
Mostra o dinheiro. Faz um teste. Prova que funciona. Calcula o impacto nas receitas. Este teste melhorou a conversão em dois por cento. Isso traz cinquenta mil dólares de receita anual adicional. A ferramenta de testes custa doze mil. Benefício líquido de trinta e oito mil.
Agora a liderança vê os testes como um investimento, não como um custo.
Construir o roteiro de testes
Não faças testes ao acaso
Planeia um roteiro de testes. O roteiro identifica as áreas de maior impacto. Formulários. Títulos. Ofertas. Checkout. Cada área recebe uma prioridade de teste.
Ordena por impacto
O roteiro ordena os testes. Testa primeiro o que tem mais impacto. Depois o impacto médio. Por fim o impacto baixo.
Compromisso da equipa
O roteiro compromete as equipas com os testes. Os designers sabem que estão a testar designs de botões. O produto sabe que está a testar a oferta. Todos sabem o que aí vem.
Cria um roteiro trimestral. Atualiza-o todos os meses com base nos resultados. O planeamento trimestral mantém a equipa focada.
Atribuir responsabilidade
O problema
Os testes falham quando ninguém é responsável por eles. O marketing diz que a responsabilidade é do produto. O produto diz que é da engenharia. Os testes nunca acontecem.
A solução
Atribui um responsável pelos testes. Pode ser o gestor de growth. Pode ser o gestor de produto. Uma só pessoa responde pelo programa de testes.
O responsável pelos testes define o roteiro. Executa os testes. Documenta os resultados. Partilha a aprendizagem. Coordena entre equipas. Sem responsável, os testes estagnam.
Formar as equipas em pensamento estatístico
O problema
A maioria das pessoas não tem formação em estatística. Olham para os números e decidem por intuição.
A variante com a alteração tem nove por cento. O controlo tem oito vírgula oito por cento. Parece que a variante ganhou. Quem não é estatístico pensa que a variante é melhor.
O estatístico verifica o nível de confiança. Oitenta e dois por cento. Abaixo do limiar de noventa e cinco por cento. Não é significativo. A diferença pode ser sorte.
A solução
Formar as equipas em estatística básica evita decisões erradas. Temas da formação: o que é a significância estatística. Porque é que os noventa e cinco por cento importam. Como ler intervalos de confiança. O que significa o tamanho da amostra.
Um bom programa de testes educa a equipa em estatística.
Criar aprendizagem partilhada e documentação
Porque é que a documentação importa
Cada teste ensina alguma coisa. A aprendizagem desaparece se não for documentada.
Como documentar
Cria um repositório de testes. Cada teste tem a sua página. Hipótese. Resultados. Aprendizagem.
Depois de cinquenta testes, tens cinquenta páginas de aprendizagem. Um novo membro da equipa lê cinquenta páginas e percebe o que funciona para o teu público.
Boa documentação: hipótese, resultados, conclusão e o que testar a seguir.
Má documentação: o teste um ganhou, o teste dois perdeu. Sem conclusão.
Integrar os testes no processo
Testes opcionais falham
Se os testes forem opcionais, param quando há muito trabalho. As equipas dão-lhes menos prioridade face a projetos urgentes.
Testes obrigatórios mantêm-se
Torna os testes obrigatórios. Cada alteração passa pelo processo de testes. Uma alteração sem teste não é aprovada.
Isto exige uma mudança de processo. Mas garante que os testes acontecem de forma consistente.
Exemplo de processo
Um: propor a alteração com uma hipótese. Dois: obter aprovação para testar. Três: correr o teste durante duas semanas. Quatro: resultados aprovados pelo responsável pelos testes. Cinco: se for significativo, implementar. Seis: documentar a aprendizagem. Sete: desenhar o teste seguinte.
Celebrar e comunicar as vitórias
O problema
O programa de testes morre se as vitórias forem silenciosas.
A solução
Celebra as vitórias. Partilha os resultados. Mostra o impacto. Email mensal: "O nosso programa de testes melhorou a conversão em sete por cento neste trimestre. Aqui estão cinco testes que fizeram a diferença. Obrigado às equipas que os executaram."
Celebrar cria dinamismo. Cria cultura. Cria a convicção de que os testes funcionam.
Lidar com a política dos testes
O conflito
Alguém propõe uma alteração. O teste mostra que a alteração não é boa ideia. A pessoa que a propôs fica frustrada. Os testes geram conflito quando os resultados contrariam os pressupostos.
A solução
Apresenta os testes como uma ferramenta de aprendizagem. Não como uma forma de provar que as pessoas estão erradas. Apresenta-os como "vamos testar e aprender juntos".
Quando um teste mostra que a pessoa estava errada, apresenta-o como "aprendemos alguma coisa". Como uma vitória e não uma derrota. As pessoas ficam na defensiva se os testes forem vistos como uma ameaça. As pessoas apoiam os testes se forem vistos como aprendizagem.
Gerir a velocidade dos testes
Abordagem agressiva
Fazer dez testes por mês. Terminar cada teste numa semana. Aprendizagem rápida. Maior probabilidade de falsos positivos. Maior taxa de erro.
Abordagem conservadora
Fazer três testes por mês. Terminar cada teste em duas a três semanas. Aprendizagem mais lenta. Menor taxa de erro. Mais seguro.
Abordagem equilibrada
A maioria das empresas deve ser equilibrada. Cinco a seis testes por mês. Duração de duas semanas. Taxa de erro razoável. Velocidade de aprendizagem razoável. Não sacrifiques a qualidade pela velocidade. Um teste de alta qualidade vale mais do que dez de baixa qualidade.
Perceber os retornos decrescentes
O padrão
Os primeiros vinte testes fazem a diferença. Cada teste melhora alguma coisa. O roteiro está cheio de oportunidades de grande impacto.
Do teste vinte ao quarenta, a diferença é menor. Ainda se aprende, mas as melhorias são mais pequenas. Há menos oportunidades óbvias.
A partir do teste quarenta: as oportunidades são pequenas. As melhorias são mínimas. Isto é normal.
A solução
Não interpretes os retornos decrescentes como uma falha dos testes. Interpreta-os como maturidade. Na fase de retornos decrescentes, muda o foco. Em vez de testes alargados, faz testes em áreas novas. Novos produtos. Novos segmentos. Novos mercados.
Sustentabilidade do programa de testes a longo prazo
O risco
O programa de testes corre bem durante seis meses. Depois abranda. As pessoas ficam ocupadas. Os testes perdem prioridade. O programa desvanece-se.
Como sustentar
Um programa sustentável exige compromisso contínuo. Exige recursos. Exige um responsável. Orçamento para ferramentas de testes. Orçamento para uma pessoa dedicada aos testes. Inclui os testes nos objetivos anuais.
Se os testes forem uma prioridade anual, acontecem. Se forem um extra, param.
Perguntas frequentes
Como convenço os membros da equipa céticos de que os testes funcionam?
Mostra-lhes um teste. Faz um teste simples num elemento com muito tráfego. Obtém resultados. Mostra a melhoria vencedora. Mostra o impacto nas receitas. Um teste bem-sucedido converte os céticos. Os resultados falam mais alto do que as palavras. Exemplo: faz um teste à cor de um botão. Mostra os resultados: botão azul com nove por cento de conversão, botão vermelho com oito vírgula cinco por cento de conversão. Oito por cento de melhoria. Calcula o impacto: se o site tem dez mil visitantes por mês e dois por cento convertem, são duzentas conversões por mês. Uma melhoria de oito por cento são dezasseis conversões adicionais por mês. Se o valor médio da encomenda for cem dólares, são mil e seiscentos dólares de receita adicional por mês. Dezanove mil dólares por ano. Mostra isto ao colega cético. O ceticismo desaparece quando há dinheiro em jogo. Com o criador de websites da WEMASY, podes configurar isto diretamente no teu website.
Se estivermos ocupados com projetos, devemos adiar os testes?
Não. Os testes devem fazer parte da entrega do projeto. Cada alteração de um projeto é testada antes de ser implementada. Os testes não acrescentam tempo se estiverem integrados no processo. Evitam que se implementem coisas que não funcionam. Exemplo: vais lançar um novo fluxo de checkout. Sem testes: implementas, lanças, descobres que noventa por cento dos visitantes ficam confusos com o novo fluxo, voltas atrás, corriges, voltas a lançar. Três semanas no total. Com testes: testas o novo fluxo durante uma semana antes do lançamento, descobres os problemas, corriges, lanças um fluxo em que confias. Duas semanas no total. Os testes poupam tempo porque evitam maus lançamentos. Integra os testes no calendário desde o início, não como algo de última hora.
Com que frequência devemos rever resultados de testes antigos?
Revê quando as condições mudarem. Nova estação. Novo concorrente. Grande mudança no negócio. Fora isso, cada resultado de teste é válido para o seu período. Não é preciso voltar a testar constantemente. Exemplo: testaste uma oferta em janeiro. A garantia de reembolso vence os dez por cento de desconto. Implementaste a garantia de reembolso. Chega julho e um concorrente lança uma garantia de reembolso. A tua vantagem desaparece. Deves voltar a testar a oferta. Talvez. A jogada do concorrente mudou o mercado. O teu vencedor pode já não ser relevante. Revisões sazonais: testa ofertas durante a época da Black Friday. Os resultados podem ser diferentes em julho, quando o comportamento de compra é outro. Volta a testar as ofertas em julho. Os resultados orientam a estratégia específica de julho.
Devemos testar para o visitante médio ou para um segmento específico?
Começa pelo visitante médio. Obtém uma base de referência. Depois passa a segmentos específicos. Se otimizares apenas para um segmento, o desempenho global sofre. Exemplo: testas a otimização só para telemóvel porque o tráfego de telemóvel é o mais alto. A base de referência no computador é dez por cento. A base de referência no telemóvel é sete por cento. Otimizas para telemóvel e o telemóvel salta oito por cento de melhoria. Mas a base de referência no computador desce para nove por cento porque as alterações não funcionam no computador. Ganhaste melhoria no telemóvel, mas prejudicaste o computador. No total perdeste terreno. Testa primeiro de forma alargada para perceber o impacto universal. Depois testa segmentos para otimizar por segmento.
Como mantemos o ritmo se os testes continuarem a perder?
Os testes que perdem ensinam-te o que não funciona. São dados valiosos. Os testes vencedores vão chegar. Continua a testar. Constrói sobre a aprendizagem das derrotas. Exemplo: testas cinco títulos. Três perdem para o título atual. Dois ganham. As vitórias dizem-te o que funciona. As derrotas dizem-te a que o público não responde. Agora sabes que a mensagem de "urgência" perde (as pessoas não gostam de pressão). Sabes que a mensagem de "benefício específico" ganha (as pessoas gostam de clareza). O teste seguinte parte dessa aprendizagem. Testa benefícios ainda mais específicos. Os testes compõem-se. Os testes que perdem não são falhas. São pontos de dados.
Se os testes mostrarem que toda a nossa abordagem está errada, o que fazemos?
Celebra. Aprendeste algo valioso. Agora muda de direção. É melhor descobrir isto através de testes do que através de uma perda silenciosa de receitas. Exemplo: achas que o teu público quer um produto premium. O teste mostra que o público prefere a opção económica. O teu posicionamento premium estava errado. Momento de celebrar: acabaste de aprender algo que te teria custado dinheiro durante anos se não tivesses testado. Agora ajusta a estratégia. Muda a mensagem para algo acessível. Testa o novo posicionamento. É melhor descobrir isto com uma perda de cinquenta mil dólares de receita do que com uma perda de cinco milhões de dólares.