A tua taxa de conversão cai 15% na terça-feira. Só reparas na quinta, quando consultas o painel. Dois dias de receita perdida, e ainda não sabes porquê. Um sistema de deteção de anomalias teria avisado na quarta de manhã: "Conversão em queda de 15% ontem, pagamento no telemóvel afetado." Agora investigas logo. Descobres que uma atualização avariou os pagamentos no telemóvel. Corriges nessa tarde. A deteção de anomalias é a diferença entre encontrar problemas dias depois e encontrá-los horas depois.
A deteção de anomalias é um sistema que vigia as tuas métricas de forma contínua e te avisa quando acontece algo invulgar. Não espera que consultes o painel. Conhece a tua linha de base (como é o "normal"), compara cada dia com essa linha e assinala os desvios. Um pico de tráfego, uma queda de conversão, um envolvimento em declínio: tudo isto é apanhado automaticamente e mostrado antes de se tornar um desastre.
O que faz, na prática, a deteção de anomalias?
Pega em qualquer métrica e vais encontrar o mesmo padrão: flutua naturalmente. A taxa de conversão nunca é exatamente igual todos os dias. O tráfego varia consoante o dia da semana. O telemóvel converte de forma diferente do computador. Se defines um alerta para "conversão abaixo de 2,5%", vais ter falsos alarmes, porque a conversão desce naturalmente para 2,4% em alguns dias. A deteção de anomalias resolve isto aprendendo como é a variação normal e avisando só quando algo se desvia para lá desse intervalo natural.
O sistema aprende a tua linha de base a partir dos dados históricos. Responde a isto: para esta métrica, neste dia da semana, com este volume de tráfego, qual é o intervalo esperado? As conversões de quarta-feira ficam tipicamente entre 2,1% e 2,9%. A conversão no telemóvel fica tipicamente entre 1,8% e 2,4%. O tráfego de email converte tipicamente entre 4% e 6%. O sistema constrói um modelo de comportamento normal para cada combinação de condições.
Quando chega um novo ponto de dados, o sistema compara-o com o intervalo esperado. A conversão de hoje está dentro do intervalo normal de quarta-feira? Sim, é 2,5%, totalmente normal. A conversão de amanhã está dentro do intervalo normal de quinta-feira? Não, é 1,2%, isso é uma anomalia. Avisa a equipa. Eles investigam e descobrem que o pagamento no telemóvel avariou. Sem deteção de anomalias, descobrem isto na tarde de sexta. Com ela, sabem na manhã de quarta.
Diferentes tipos de anomalias disparam diferentes alertas. Um pico repentino (tráfego 200% acima do normal) é assinalado. Uma queda repentina (conversão 50% abaixo do normal) é assinalada. Um declínio gradual (conversão a descer lentamente ao longo de uma semana) é assinalado. Um padrão recorrente que de repente se quebra (o telemóvel converte sempre 20% melhor do que o computador, mas esta semana está igual) é assinalado. O sistema vigia tudo isto.
Porque é que apanhar problemas cedo importa tanto?
Olha para a forma como a maioria das marcas descobre problemas e vais ver o padrão: descoberta reativa. Um cliente envia um email a queixar-se de que o pagamento não funciona. Consultas o painel e confirmas. Ou reparas na quinta que a segunda-feira foi estranha e tentas perceber o que aconteceu. Isto são horas ou dias de oportunidade perdida.
Em grande escala, o custo do atraso acumula-se. Uma loja online com $1 milhão de receita diária que perca 15% de conversão por causa de um erro perde $150 000 por dia. Dois dias de atraso custam $300 000. Se a deteção de anomalias apanhar o problema 6 horas mais cedo, poupas $37 500. Um site SaaS com 5000 utilizadores que veja 2% de abandono adicional perde 100 utilizadores. Duas semanas de atraso significam 1400 utilizadores perdidos. Apanhar de imediato significa 100. A diferença são milhares de dólares em ARR.
A rapidez também afeta a reputação. Uma equipa de apoio ao cliente quer saber dos problemas antes de os clientes os reportarem. Com deteção de anomalias, podes enviar um email aos clientes: "Detetámos um problema na tua conta na quarta de manhã e resolvemo-lo à tarde." Sem ela, os clientes queixam-se na sexta, tu dizes "vamos ver isso", e eles já mudaram para um concorrente. A psicologia de "nós detetámos" vs. "tu reportaste" muda a perceção do cliente.
A rapidez permite experimentar. Se lanças uma alteração e consegues ver o impacto em horas, consegues iterar mais depressa. Sem deteção de anomalias, corres uma experiência durante uma semana, vês os resultados e só depois iteras. Com ela, consegues ver se uma alteração ajudou ou prejudicou em 24 horas. Essa velocidade acumula-se ao longo de um ano.
Que tipos de anomalias deves realmente apanhar?
Nem todas as anomalias valem a pena. Algumas variações são esperadas. Mas algumas importam para decisões de negócio. O segredo é configurar a deteção de anomalias para métricas que, se mudarem inesperadamente, exigem ação imediata.
As anomalias com impacto na receita são a prioridade número um. Taxa de conversão a cair, valor médio das encomendas a descer, abandono do pagamento a disparar: tudo isto afeta diretamente a receita. Define alertas para todas. Se a conversão cair 10%, queres saber de imediato, não depois do fim de semana.
As anomalias de envolvimento dos utilizadores importam porque preveem problemas. A duração das sessões a cair, a adoção de funcionalidades a diminuir, a frequência de início de sessão a descer: são sinais de alerta precoce de abandono. Uma queda de envolvimento esta semana prevê uma queda de retenção no próximo mês. Apanha-a agora e tens tempo para intervir.
As anomalias de tráfego importam porque revelam problemas de alcance ou de aquisição. Tráfego orgânico a disparar significa que o teu SEO está a funcionar (bom). Tráfego orgânico a cair significa que algo avariou na pesquisa (mau). Tráfego pago a diminuir significa que as tuas campanhas de anúncios estão abaixo do esperado (mau). Define alertas para quando as fontes de tráfego mudam inesperadamente.
As anomalias de qualidade importam porque são assassinas silenciosas. Taxa de rejeição a subir significa que o teu site está a ficar menos relevante. Páginas por sessão a descer significa que os utilizadores encontram o que precisam mais depressa (bom) ou não encontram o que querem (mau). Erros de sessão a disparar significa que o site está a avariar. Tudo isto é invisível se não estiveres atento.
Como configurar a deteção de anomalias sem falsos alarmes?
Pergunta a qualquer equipa de análise sobre falsos alarmes e vais ouvir a mesma queixa: fadiga de alertas. Se cada pequena flutuação dispara um alerta, a equipa deixa de os ler. Fica dessensibilizada. Os problemas reais perdem-se no meio do ruído. O segredo de uma boa deteção de anomalias é definir limites que apanham problemas reais e ignoram a variação natural.
Começa pelas métricas que mais importam ao teu negócio. Nem todas as métricas precisam de deteção de anomalias. Concentra-te nas métricas de receita (conversão, valor das encomendas, abandono), nas métricas de saúde dos utilizadores (envolvimento, retenção, adoção de funcionalidades) e nas métricas de saúde do sistema (erros, latência, disponibilidade). São as que exigem ação imediata se mudarem.
Define a sensibilidade com base na volatilidade. Algumas métricas são naturalmente voláteis. O tráfego oscila de dia para dia. Define limites de anomalia suficientemente largos para absorver essa variação natural. Para a taxa de conversão, um desvio de 20% pode ser normal; assinala só se o desvio for de 30% ou mais. Para a receita, um desvio de 5% pode ser normal. Para o envolvimento, um desvio de 15% pode ser normal. Os limites dependem dos teus dados históricos.
Inclui o contexto. O dia da semana importa. O sábado costuma ter padrões diferentes da quarta-feira. Os feriados têm padrões diferentes dos dias normais. A deteção de anomalias deve ter isto em conta. "Conversão abaixo de 1,5% num domingo" pode ser normal. "Conversão abaixo de 1,5% numa quarta-feira" é uma anomalia. Os bons sistemas aprendem estes padrões automaticamente.
Começa de forma conservadora e vai apertando com o tempo. Se tens dúvidas sobre os limites, define-os largos. É melhor falhar algumas anomalias do que inundar a equipa com falsos alarmes. À medida que ganhas confiança no sistema e a equipa se habitua a ler os alertas, aperta os limites e apanha anomalias mais pequenas.
Quais são os limites da deteção de anomalias?
A deteção de anomalias encontra desvios do normal. Mas "normal" é o que os teus dados históricos dizem que é normal. Se os teus dados estão errados ou enviesados, o sistema vai falhar problemas reais ou assinalar falsos positivos. Se tiveste um erro durante três meses que inflacionou artificialmente a tua taxa de conversão, o sistema aprendeu essa taxa inflacionada como "normal". Quando corriges o erro, a conversão desce para os níveis normais verdadeiros, e o sistema assinala isso como anomalia.
A deteção de anomalias não explica a causa. Diz-te que algo mudou. Não te diz porquê. Se a conversão caiu, continuas a ter de investigar. É um problema técnico? Uma mudança no mercado? Uma jogada de um concorrente? A concorrência de um novo participante? A deteção de anomalias faz surgir o problema. O diagnóstico continua a ser trabalho humano.
A deteção de anomalias não funciona bem em escala muito pequena. Se tens 100 visitantes por dia, a variação aleatória é enorme. Todos os dias parecem anómalos em comparação com os outros. A deteção de anomalias funciona melhor em escala maior, onde os padrões são estáveis. Um SaaS com 50 000 utilizadores mensais tem padrões limpos e estáveis. Um SaaS com 500 utilizadores mensais tem demasiado ruído.
As mudanças graduais podem escapar à deteção de anomalias. Se a conversão está a descer lentamente (0,5% por semana), o sistema pode não a assinalar, porque cada semana se desvia só um pouco da anterior. Podes não reparar até estares 10% abaixo no total. Para apanhar a degradação gradual, precisas de análise de tendências, além da deteção de anomalias num ponto no tempo.
Qual é a diferença entre deteção de anomalias e alertas?
Os alertas são regras que defines manualmente (converter abaixo de 2%, receita abaixo de X). A deteção de anomalias é uma aprendizagem automática da linha de base (tudo o que se desvie 3 desvios-padrão do normal). Os alertas exigem que saibas o que é normal e quando te deves preocupar. A deteção de anomalias aprende o que é normal a partir dos teus dados. A deteção de anomalias é melhor para apanhar problemas inesperados. Os alertas são melhores para monitorizar limites conhecidos.
Todas as plataformas de análise têm deteção de anomalias?
Não. O Google Analytics tem algumas notificações básicas de anomalias. As plataformas de análise de produto têm deteção de anomalias. As ferramentas de BI podem ser configuradas para isso. Mas nem todas as plataformas a incluem. Antes de escolheres uma ferramenta de análise, verifica se a deteção de anomalias está incluída, quão sensíveis são os limites e se a podes personalizar.
Quantos falsos alarmes devo esperar?
Se estiver bem configurada, a taxa de falsos alarmes deve ficar abaixo de 5% dos alertas. A maioria deve ser desvios legítimos que valem a pena investigar. Se recebes mais de 20 falsos alarmes por dia, os limites estão demasiado sensíveis. Se não recebes nenhum alerta durante um mês, os limites estão demasiado largos. Ajusta os limites acompanhando que alertas levaram a descobertas reais e quais eram só ruído.
A deteção de anomalias consegue apanhar fraude?
Em parte. Se a fraude causa padrões invulgares (pico na taxa de reembolsos, anomalias geográficas, métodos de pagamento invulgares), a deteção de anomalias pode assinalá-la. Mas a deteção de fraude exige regras especializadas (o mesmo cartão de crédito usado várias vezes, verificações de velocidade, localizações que não coincidem). Usa a deteção de anomalias para apanhar padrões gerais. Usa a deteção de fraude para padrões específicos de fraude.
De quantos dados históricos preciso para a deteção de anomalias funcionar?
A maioria dos sistemas precisa de 2-4 semanas de dados de base para começar a aprender padrões. Um mês é melhor. Depois de um trimestre de dados, o modelo é bastante preciso. Depois de um ano, é muito preciso (percebe os padrões sazonais). Se pões a deteção de anomalias a funcionar num site novo, espera uma taxa alta de falsos alarmes durante o primeiro mês, enquanto o sistema aprende a tua linha de base.
Devo agir perante todos os alertas de anomalias?
Não necessariamente. Algumas anomalias são esperadas (grande ação de relações públicas, novo concorrente, efeito sazonal, grande campanha de marketing). Quando recebes um alerta, pergunta primeiro: mudou alguma coisa externa? Se sim, a anomalia é esperada, não é um problema. Se não, investiga. Com o tempo, vais aprender que alertas são sinal (problemas reais) e quais são ruído.