Porque mudaram as tuas métricas: a abordagem da análise diagnóstica

Aprende a descobrir porque mudaram as métricas do teu website. Técnicas de análise diagnóstica para encontrar as causas e corrigir problemas.

Rascunho

O tráfego do teu website estava estável nos 500 visitantes por semana. Na semana passada desceu para 350. Sabes o que aconteceu (menos visitantes). Não fazes ideia porquê.

A análise descritiva diz-te que o número mudou. A análise diagnóstica é como descobres a razão. Este artigo apresenta as técnicas para investigar o que realmente causou a mudança e como evitar perseguir pistas falsas.

A análise diagnóstica é a prática de investigar porque é que algo aconteceu. Descreves o sintoma (o tráfego caiu 30%) e depois trabalhas ao contrário para encontrar a causa.

O que a torna difícil: quase tudo pode parecer uma causa se não tiveres cuidado. A tua taxa de rejeição subiu na mesma semana em que o tráfego caiu. Foi a taxa de rejeição que causou a queda, ou os dois moveram-se em conjunto sem terem nada a ver um com o outro? A tua navegação mudou. Isso causou a queda, ou as posições no Google mudaram ao mesmo tempo? A análise diagnóstica é sobre responder a isto com precisão, não adivinhar.

Como investigar como se estivesses a resolver um mistério

O processo diagnóstico faz-se por passos. Começa específico e depois alarga.

Passo 1: define o sintoma com precisão

Não "o tráfego está mau". Algo como "o tráfego da pesquisa orgânica caiu 35% entre 15 e 20 de janeiro, em comparação com o mesmo período do mês anterior".

A especificidade importa. "O tráfego caiu" é vago. "O tráfego da pesquisa orgânica, em concreto, caiu 35% numa janela de cinco dias" diz-te exatamente o que investigar e reduz muito as causas possíveis. Não estás a tentar explicar todo o tráfego, apenas a métrica concreta que se mexeu.

Passo 2: isola o que pode tê-lo causado

O que mudou na altura em que a tua métrica se mexeu? Esta é a tua lista de hipóteses.

Publicaste conteúdo novo? Mudaste os títulos das páginas? Atualizaste a estrutura do site? Fizeste uma campanha de marketing? Foste mencionado noutro site? Houve uma atualização do algoritmo do Google? Um concorrente lançou algo? Mudaste as definições das tuas estatísticas?

Anota todas as causas plausíveis. Não faz mal se a lista for longa. O teu trabalho a seguir é eliminar possibilidades.

Passo 3: testa as hipóteses

Para cada hipótese, pergunta: se esta fosse a causa, o que esperaria ver nos dados?

Digamos que a tua hipótese é "um concorrente lançou uma campanha e roubou-nos o tráfego da pesquisa". Se for verdade, esperarias ver: (a) certas palavras-chave em que costumavas aparecer bem posicionado estão agora a favorecer concorrentes, (b) as tuas posições desceram para essas palavras-chave em concreto, (c) a queda de tráfego está concentrada nessas palavras-chave, não em todo o tráfego da pesquisa.

Testa isso. As tuas posições descem mesmo nessas palavras-chave? Se sim, é uma prova a favor da tua hipótese. Se não, essa hipótese está errada. Passa à seguinte.

O mesmo processo para as outras hipóteses. Publicaste conteúdo novo? Se isso causou a queda de tráfego, porque é que conteúdo novo reduziria o tráfego existente? Não reduziria, a não ser que o conteúdo novo esteja a roubar cliques às tuas páginas principais (agora competem pelos mesmos resultados de pesquisa). Se isso não está a acontecer, não é a causa.

Passo 4: verifica a causalidade, não só a correlação

Este passo apanha a maioria das pessoas. Duas métricas podem mover-se juntas sem que uma cause a outra.

A tua taxa de rejeição subiu na mesma semana em que o tráfego caiu. Isso é uma correlação: moveram-se juntas. Mas correlação não é causalidade. A taxa de rejeição não fez o tráfego cair. Ambas podem ser sintomas do mesmo problema (talvez o Google tenha despromovido o teu site; chegaram menos visitantes e os que chegaram acharam o teu conteúdo menos relevante).

Para confirmar a causalidade, pergunta: existe um mecanismo lógico? Se a taxa de rejeição causou a queda de tráfego, como funcionaria isso? Não funciona. A taxa de rejeição é como os visitantes se comportam depois de chegarem. Não pode afetar quantos chegam, para começar. Por isso é provavelmente correlação, não causalidade.

Passo 5: confirma com a explicação mais simples

Reduziste as possibilidades. O teu tráfego caiu na pesquisa orgânica em particular. As tuas posições desceram. Não houve alterações novas no site. Conclusão: o Google mudou os resultados de pesquisa (atualização do algoritmo ou mudança de posições). É a explicação mais simples.

A explicação mais simples que se ajusta aos dados costuma ser a correta. Não inventes teorias complicadas se uma simples explica o que vês.

As técnicas que realmente funcionam

A análise diagnóstica usa técnicas específicas para investigar. Estas são as que importam a donos de websites.

Análise por desdobramento (segmenta os teus dados)

Em vez de olhares para "todo o tráfego", desdobra-o por fonte. Quanto veio da pesquisa orgânica? Quanto do acesso direto? Quanto de referências?

Se o tráfego total caiu 30% mas a pesquisa orgânica só caiu 10%, sabes que o problema está noutro lado. Ao desdobrar os números, reduziste a investigação.

O mesmo com as páginas. Se o tráfego total caiu mas as tuas páginas principais até subiram, sabes que o problema são páginas mais pequenas a afundar. Se as tuas páginas principais desceram, é diferente. O desdobramento diz-te o que está concretamente avariado.

Análise de tendências (compara períodos)

Olha para a mesma métrica em períodos diferentes. O teu tráfego deste mês contra o do mês passado e contra o do ano passado. Caiu de repente ou aos poucos? Caiu num dia específico ou ao longo de vários dias?

Uma queda súbita a 15 de março é diferente de um declínio gradual ao longo de duas semanas. Uma sugere um acontecimento (atualização do Google, mudança no site, movimento de um concorrente). A outra sugere uma tendência (descida sazonal, perda gradual de posições).

A forma da tendência diz-te onde investigar.

Deteção de anomalias (repara no que é diferente)

O teu tráfego costuma ter uma média de 500 visitantes por dia. Na quinta-feira passada foram 650. Na sexta-feira passada foram 300. São anomalias: são diferentes do normal.

As anomalias merecem investigação. O que aconteceu na quinta-feira? Um pico sugere algo positivo (uma partilha popular nas redes sociais, uma menção, boas posições no Google). O que aconteceu na sexta-feira? Uma queda sugere algo negativo (um erro no site, algo que mudou).

Ao detetares anomalias, sabes que dias investigar a fundo.

Análise de coortes (compara grupos)

Uma coorte é um grupo de visitantes que partilham algo em comum (chegaram este mês, vieram do Google, viram uma página específica).

Digamos que a tua taxa de conversão desceu. Em vez de olhares só para as conversões globais, compara coortes. As conversões desceram para quem veio do Google? Dos anúncios? De referências? Desceram para visitantes novos mas não para os que regressam?

Ao comparar coortes, vês que o problema está concentrado em fontes ou tipos de visitantes específicos, o que é uma pista muito melhor do que uma tendência geral.

Os erros que te levam por caminhos falsos

A análise diagnóstica parece simples, mas há formas comuns de a fazer mal.

Confundir correlação com causalidade

Duas coisas moveram-se juntas. Assumes que uma causou a outra. Normalmente está errado.

A tua taxa de conversão e a tua taxa de rejeição subiram as duas. Coincidência? Talvez. Uma taxa de rejeição mais alta causa uma conversão mais alta? Não: a taxa de rejeição e a conversão medem grupos de visitantes diferentes. Esta correlação é provavelmente irrelevante.

Pergunta sempre: existe um mecanismo lógico? X poderia mesmo causar Y?

Ignorar fatores externos

As tuas métricas mudaram. Antes de culpares o teu site, pergunta se algo fora do teu site mudou.

O Google lançou uma atualização do algoritmo? Um concorrente lançou uma campanha? O teu setor teve uma grande notícia? Se o teu tráfego caiu na mesma semana em que o Google anunciou uma atualização principal, essa é provavelmente a causa, não algo que tenhas feito.

Olha para fora do teu website antes de olhares para dentro.

Complicar demasiado causas simples

Reparas que o tráfego caiu. Investigas durante semanas e descobres problemas complexos. Depois descobres que a causa real era simples: o teu site esteve em baixo 2 horas num dia.

As causas simples são mais comuns do que as complexas. Verifica primeiro o óbvio: o teu site deu erro? Apagaste uma página sem querer? Mudaste algo técnico? O tráfego dos motores de busca mudou drasticamente? São verificações fáceis e, normalmente, são a resposta.

Mudar demasiadas coisas ao mesmo tempo

Reparaste num problema. Atualizaste a página inicial, mudaste a navegação, atualizaste as páginas de produto e reescreveste os textos, tudo num dia.

Agora as conversões mudaram. Qual mudança o causou? Todas? Uma? Nenhuma, talvez seja sazonal? Não consegues saber, porque mudaste demasiado de uma vez.

Ao diagnosticar problemas, muda uma coisa e mede o impacto antes de mudares a seguinte.

Quando precisas de ajuda para diagnosticar

Às vezes a análise diagnóstica é direta (fizeste uma mudança, as métricas mudaram, a ligação é óbvia). Outras vezes é complexa e confusa.

Quando ficares preso:

Fala com quem conhece o contexto. Se tens uma loja online e as conversões caíram, pergunta ao teu processador de pagamentos se houve algum problema. Pergunta à tua equipa se mudou alguma coisa. Pergunta ao teu programador se houve uma atualização do site. O analista de dados pode encontrar o padrão, mas é a equipa que dá o contexto que resolve o mistério.

Aproxima-te da mudança mais pequena. Não tentes diagnosticar todas as métricas de uma vez. Escolhe a que mais importa e diagnostica essa. Quando perceberes a causa de uma mudança, as outras costumam ficar claras.

Lembra-te de que algumas mudanças são só ruído. O teu tráfego sobe e desce todas as semanas por variação aleatória. Nem toda a mudança precisa de diagnóstico. Se a tua média é 500 visitantes e tiveste 490 numa semana, está dentro da variação normal. Não investigues cada micromudança: foca-te nos desvios significativos.

Perguntas frequentes

Quanto tempo demora a diagnosticar porque é que uma métrica mudou?

Às vezes minutos (fizeste uma mudança, vês o impacto). Às vezes horas, se precisares de rever dados. Às vezes dias, se a causa não for clara. Quanto mais específico for o sintoma original, mais depressa o consegues diagnosticar. "O tráfego caiu na segunda-feira" é mais fácil de diagnosticar do que "o tráfego tem vindo a descer aos poucos há três meses". Com o criador de websites da WEMASY, podes configurar isto diretamente no teu website.

E se não conseguir encontrar a causa?

É possível que a causa seja externa e não visível nos teus dados (mudança de mercado, tendência sazonal, ação de um concorrente). Também é possível que a mudança seja só variação aleatória. Se testaste as hipóteses óbvias e não encontraste nada, aceita que às vezes não se consegue diagnosticar tudo. Avança para a próxima oportunidade.

Posso diagnosticar as coisas retroativamente ou preciso de as acompanhar em direto?

Podes diagnosticar retroativamente se o teu sistema de estatísticas registou os dados. As estatísticas da WEMASY guardam o histórico, por isso podes recuar semanas ou meses e investigar. Não precisas de informação em tempo real para diagnosticar porque é que algo aconteceu.

Há forma de saber automaticamente quando algo muda?

Sim. A maioria das ferramentas de estatísticas permite definir alertas para mudanças súbitas (o tráfego cai mais de 20%, as conversões descem, etc.). Estes alertas dizem-te que algo mudou para o poderes diagnosticar. Mas o diagnóstico continuas a ter de o fazer tu: o alerta só te diz que vale a pena investigar.

Devo corrigir problemas com base nas conclusões do diagnóstico ou testá-las primeiro?

Testa primeiro, se puderes. Quando achares que sabes a causa, faz uma pequena mudança e mede se a métrica melhora. Isto confirma que o teu diagnóstico estava certo antes de investires tempo numa grande correção. Testes pequenos são mais rápidos do que depurar o problema errado.

Em que é que a análise diagnóstica difere da inteligência de negócio diagnóstica?

São conceitos parecidos. Ambos são sobre investigar porque é que algo aconteceu. Na análise de dados, olhamos especificamente para os dados para encontrar causas de raiz. Na inteligência de negócio, podes olhar também para fatores operacionais, decisões da equipa e condições de mercado. Para donos de websites, a análise diagnóstica é a ferramenta prática que podes usar diretamente.

Põe isto em prática
no teu próprio site.

Começa grátis com a WEMASY e cria o teu site em poucos minutos.