A atribuição diz-te que canal fica com o crédito de uma conversão. Mas será que o canal gera mesmo a conversão, ou ela teria acontecido de qualquer forma? Os testes de incrementalidade respondem a esta pergunta com experiências: expõem alguns utilizadores ao canal (grupo de tratamento), não expõem outros (grupo de controlo) e medem a diferença nas taxas de conversão. A diferença é o verdadeiro impacto incremental. Este capítulo explica os testes de incrementalidade e quando usá-los.
Atribuição e incrementalidade
Atribuição: das pessoas que converteram, que canal as tocou por último? É simples de medir, mas não prova causalidade.
Incrementalidade: se retirarmos este canal por completo, quanta receita perdemos? Isto prova a causalidade e mede o verdadeiro impacto.
Exemplo: 100 pessoas converteram. O Google Ads ao último clique fica com o crédito de 60. Mas o teste de incrementalidade mostra: se não tivéssemos feito Google Ads, 50 dessas 60 teriam convertido na mesma (por outros canais). A verdadeira incrementalidade do Google Ads é de 10 conversões, não de 60.
Tipos de testes de incrementalidade
Testes por região geográfica
Mostra anúncios em algumas regiões (tratamento) e noutras não (controlo). Compara as taxas de conversão. Exemplo: faz Google Ads em São Francisco (tratamento) e não em Berkeley (controlo). Se São Francisco tiver uma taxa de conversão mais alta, os anúncios são incrementais.
Vantagem: simples e rápido. Desvantagem: as diferenças geográficas podem confundir os resultados (São Francisco é mais rica, o que puxa a taxa de conversão para cima).
Grupos de exclusão
Mostra anúncios a todos, exceto a 10% escolhidos ao acaso (controlo). Compara as taxas de conversão: utilizadores expostos aos anúncios e utilizadores do grupo de exclusão. A diferença é a incrementalidade.
Vantagem: é rigoroso e controla os fatores de confusão. Desvantagem: exige um orçamento grande (não estamos a chegar a 10% do nosso público para medir o impacto).
Testes por períodos de tempo
Mostra anúncios em alguns períodos (tratamento) e noutros não (controlo). Exemplo: corre pesquisa paga de segunda a quinta e não de sexta a domingo. Compara as taxas de conversão. Se segunda a quinta for mais alto, os anúncios são incrementais.
Vantagem: simples. Desvantagem: os dias da semana confundem os resultados (os fins de semana têm naturalmente menos conversão).
Como fazer um teste de incrementalidade
Passo 1: define a hipótese. "O Google Ads gera conversões incrementais acima da base."
Passo 2: escolhe o tipo de teste. Os grupos de exclusão são o mais rigoroso; usa-os se o orçamento permitir.
Passo 3: dimensiona o teste. Precisas de uma amostra suficiente para detetar a diferença. Se a conversão de base for 5% e quiseres detetar um aumento de 2%, precisas de cerca de 10 000 por grupo. Consulta um estatístico ou usa uma calculadora de potência estatística.
Passo 4: corre o teste durante 2 a 4 semanas. Testes mais longos reduzem a variação das oscilações diárias.
Passo 5: analisa os resultados. A diferença é estatisticamente significativa? (p < 0,05). Se sim, provaste a incrementalidade.
Desafios dos testes de incrementalidade
Custo: os grupos de exclusão significam perder receita de propósito (não chegamos a 10% do nosso público). Só compensa em canais de investimento alto, em que a conclusão é valiosa.
Canibalização: se o utilizador não vir o teu anúncio, pode usar a pesquisa orgânica ou o tráfego direto. A incrementalidade capta isto (está incluído no comportamento do grupo de controlo).
Efeitos a longo prazo: os anúncios podem ter um efeito de marca que só aparece dias ou semanas depois. A maioria dos testes é de curto prazo e deixa escapar os impactos a longo prazo.
Como decido se devo fazer um teste de incrementalidade?
A incrementalidade é cara (o grupo de exclusão custa dinheiro). Faz testes em: canais de investimento alto (Google Ads, Facebook Ads), onde a atribuição é ambígua e onde estás a tomar grandes decisões de orçamento. Não testes: canais pequenos, onde a atribuição é clara. Orçamento: 10 mil a 50 mil $ ou mais por teste. Guarda-o para as perguntas de maior impacto.
Que tamanho de amostra preciso para um teste de incrementalidade?
Depende da taxa de conversão de base e do aumento que queres detetar. Regra prática: 5000 a 10 000 por grupo (controlo e tratamento). Se a base for 5% e quiseres detetar um aumento de 2% (nova taxa de 7%), precisas de cerca de 10 000 por grupo. Usa uma calculadora de potência (pesquisa 'statistical power calculator') para obteres o número exato do teu caso.
Durante quanto tempo devo fazer um teste de incrementalidade?
No mínimo 2 a 4 semanas (para compensar a variação diária). 4 a 8 semanas é melhor (apanha os padrões semanais). Testes mais longos = custo mais alto, mas mais fiáveis. Se o teu ciclo de vendas for de 30 dias, faz o teste durante mais de 30 dias para apanhar o ciclo completo.
Posso usar testes de incrementalidade para medir interações entre canais (como um canal ajuda outro)?
Sim, mas é mais complexo. Desenho do teste: (1) controlo (sem canais), (2) tratamento A (só o canal A), (3) tratamento B (só o canal B), (4) tratamento A+B (os dois canais). Compara os resultados. Se A+B > A + B, há sinergia. Isto exige amostras maiores e uma análise mais complexa.
Qual é a diferença entre um grupo de exclusão e um grupo de controlo num teste?
Grupo de exclusão: parte da tua base de clientes que não vê o canal (de propósito). Grupo de controlo: numa experiência, o grupo que não recebe o tratamento (para comparação). É o mesmo conceito com nomes diferentes. O grupo de exclusão é contínuo (um grupo mantido de forma permanente); o de controlo existe durante um teste concreto.
Como apresento os resultados de um teste de incrementalidade à direção?
Mostra: conversão de base (5%), conversão do tratamento (6%), aumento (1 ponto percentual, 20% de aumento relativo). Mostra o intervalo de confiança: o aumento está entre 0,5 e 1,5 pontos percentuais (temos confiança neste intervalo). Implicação no orçamento: se a incrementalidade for 20% inferior ao que a atribuição indicava, recalcula o retorno. Isto justifica o custo do teste com melhores decisões.