Os bots dos motores de pesquisa visitam o teu site constantemente. Rastreiam páginas, seguem ligações e verificam atualizações. Mas não consegues ver esta atividade no Google Search Console. Só a vês nos registos do teu servidor. Os registos do servidor guardam cada pedido feito ao servidor, incluindo que bot o fez, que página rastreou, quanto tempo demorou e que código de resposta recebeu. A análise de registos revela como os motores de pesquisa tratam realmente o teu site.
O que são registos do servidor?
Os registos do servidor são registos de todos os pedidos feitos ao teu servidor web. Cada linha representa um pedido. O registo mostra o endereço IP do visitante, o que pediu, quando o pediu, que código de resposta o servidor devolveu e quantos dados foram enviados.
Todos os fornecedores de alojamento guardam registos do servidor. Podes aceder-lhes através do painel de controlo do alojamento ou por FTP. Os formatos de registo mais comuns incluem os registos de acesso do Apache e os registos do Nginx. A maioria dos fornecedores de alojamento deixa-te descarregar os registos para análise.
Os ficheiros de registo podem ser enormes. Um site com muito movimento gera gigabytes de registos por dia. Analisá-los exige ferramentas. Não consegues ler manualmente milhões de entradas de registo.
Perceber os user-agents dos rastreadores
Cada bot identifica-se com uma cadeia de user-agent. O Googlebot é o rastreador da Google. O Bingbot é o rastreador do Bing. O Slurp é o rastreador do Yahoo. Outros motores de pesquisa têm os seus próprios bots.
Podes filtrar os registos por user-agent para ver apenas os pedidos de rastreadores específicos. Isto diz-te com que frequência cada motor de pesquisa rastreia o teu site.
Cuidado com os user-agents falsos. Há quem se faça passar por motor de pesquisa. Uma cadeia de user-agent que diz "Googlebot" pode não ser o verdadeiro Googlebot. Verifica o endereço IP. Os endereços IP do verdadeiro Googlebot são publicados pela Google.
O que podes aprender com os registos
Frequência de rastreio: com que frequência cada motor de pesquisa rastreia o teu site? Todos os dias? Todas as semanas? Várias vezes por dia? A frequência de rastreio indica quanto a Google valoriza o teu site.
Padrões de rastreio: que páginas visita o rastreador? Rastreia as páginas importantes com mais frequência? Perde tempo em páginas sem importância? Isto revela a distribuição do orçamento de rastreio.
Códigos de resposta: as páginas devolvem 200 (sucesso) ou erros? Muitos erros 4xx ou 5xx indicam problemas.
Velocidade de rastreio: quanto tempo gasta o bot a rastrear? Rastreios rápidos indicam que as páginas carregam depressa. Rastreios lentos indicam problemas de desempenho.
Comportamento dos bots: os bots seguem o robots.txt? Respeitam o nofollow? Rastreiam imagens e CSS? Isto revela se a tua configuração técnica está correta.
Como analisar os registos
Descarrega os teus registos. Vai ao painel de controlo do alojamento, encontra a secção de registos e descarrega os registos de acesso do período que queres analisar.
Usa ferramentas de análise de registos. Os analisadores de ficheiros de registo conseguem interpretar os registos e extrair conclusões. Estas ferramentas filtram por user-agent, endereço IP, código de resposta e mais.
Filtra pelos rastreadores. Concentra-te nos pedidos dos bots dos motores de pesquisa. Exclui o tráfego normal de utilizadores. Assim isolas o comportamento dos rastreadores.
Analisa os padrões. Vê as tendências da frequência de rastreio. Os rastreios estão a aumentar ou a diminuir? As taxas de erro estão a subir? Os padrões de rastreio correspondem ao que esperavas?
Conclusões comuns da análise de registos
Páginas sem importância rastreadas mais do que páginas importantes. Isto indica um problema de estrutura do site. As páginas importantes devem ser rastreadas com mais frequência. Usa o robots.txt ou as ligações internas para dar prioridade às páginas importantes.
Taxas de erro elevadas. Muitas respostas 4xx ou 5xx indicam páginas avariadas ou problemas de servidor. Corrige os erros para melhorar a rastreabilidade.
Baixa frequência de rastreio. Se os motores de pesquisa rastreiam o teu site com pouca frequência, pode indicar baixa autoridade ou fraca qualidade do conteúdo. Melhora o conteúdo e os backlinks para atrair mais rastreios.
Bots a rastrear páginas bloqueadas. Se o robots.txt bloqueia páginas mas os rastreadores continuam a pedi-las, os bots estão a ignorar as tuas regras de bloqueio. Normalmente é inofensivo.
Limitações da análise de registos
A análise de registos mostra os pedidos ao teu servidor, mas não toda a atividade dos rastreadores. Alguns motores de pesquisa usam cache. Podem não rastrear todos os URLs de cada vez. Os rastreios em cache não aparecem nos registos.
A análise de registos não mostra as decisões de indexação. Uma página ter sido rastreada não significa que foi indexada. Os motores de pesquisa rastreiam e descartam páginas o tempo todo.
Os ficheiros de registo grandes são difíceis de gerir. Um site com muito movimento gera registos enormes. Analisar gigabytes de dados exige ferramentas potentes e conhecimento especializado.
Os dados dos registos são técnicos. Exigem compreensão das respostas HTTP, das cadeias de user-agent e do comportamento do servidor. Não é uma tarefa para principiantes.
Perguntas frequentes
Onde encontro os registos do meu servidor?
O teu fornecedor de alojamento tem registos do servidor. Inicia sessão no painel de controlo do alojamento e procura uma secção chamada Registos ou Estatísticas. A maioria dos fornecedores deixa-te descarregar os registos em bruto. Alguns oferecem visualizadores de registos. Se não os encontrares, contacta o teu fornecedor de alojamento. Com o criador de websites da WEMASY, podes configurar isto diretamente no teu website.
Até onde recuam os registos do servidor?
Varia consoante o alojamento. Alguns fornecedores guardam os registos durante 30 dias, outros durante 90 dias. Os alojamentos empresariais podem guardar anos de registos. Consulta a documentação do teu alojamento. Se precisas de registos históricos, descarrega-os e arquiva-os regularmente.
Devo analisar os registos eu próprio ou contratar alguém?
Para a maioria dos sites, o Google Search Console chega. A análise de registos é avançada e técnica. Usa os registos apenas se o GSC não te der as respostas de que precisas. Se fizeres análise de registos, usa um analisador de ficheiros de registo dedicado. Se não tens experiência, contrata um consultor de SEO.
Posso usar os registos para detetar bots maliciosos?
Sim. Os registos mostram todos os pedidos, incluindo os de bots maliciosos. Procura cadeias de user-agent invulgares, taxas de pedidos elevadas ou padrões de rastreio sem sentido. Os bots maliciosos costumam rastrear o teu site muito mais depressa do que os rastreadores legítimos. Podes bloqueá-los com o robots.txt ou com a tua firewall.
Analisar os registos ajuda a melhorar o meu ranking?
Indiretamente. A análise de registos ajuda-te a perceber problemas de rastreio, problemas de estrutura do site e pontos de estrangulamento de desempenho. Corrigir estes problemas melhora o teu site para os rastreadores e para os utilizadores, o que pode melhorar o ranking. Mas os registos são uma ferramenta de diagnóstico, não um fator de ranking.
Qual é a diferença entre os registos e os dados do Search Console?
Os registos mostram todos os pedidos ao teu servidor. O Search Console mostra o que a Google fez com esses pedidos (indexou, rejeitou, etc.). Os registos são dados em bruto. O Search Console é a interpretação da Google desses dados. Usa os dois em conjunto para teres a imagem completa.