Os motores de busca rastreiam o teu site constantemente, seguindo ligações e indexando páginas. Mas nem todas as páginas merecem ser indexadas. Tens páginas privadas, áreas de administração, páginas de teste e páginas duplicadas que desperdiçam orçamento de rastreio. O robots.txt é um ficheiro de texto simples que diz aos motores de busca que páginas podem e não podem rastrear. É o porteiro entre o teu site e os bots dos motores de busca.
O robots.txt é um ficheiro de texto simples que fica no diretório raiz do teu website (seusite.com/robots.txt). Contém instruções para os rastreadores dos motores de busca sobre que páginas e secções do teu site podem rastrear. Não precisas de iniciar sessão para aceder ao robots.txt. É público. Qualquer pessoa pode visitar seusite.com/robots.txt e ver as tuas instruções.
Os motores de busca devem seguir as regras do robots.txt. A maioria segue. Alguns não. Os rastreadores bem comportados (o Google e outros motores de busca de confiança) respeitam o robots.txt. Os agentes mal-intencionados e os bots maliciosos ignoram-no muitas vezes.
Como é um robots.txt?
Um ficheiro robots.txt simples é assim:
User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /blog/
Sitemap: https://www.example.com/sitemap.xml
Isto diz a todos os bots (User-agent: *) que não podem rastrear as secções /admin/ ou /private/. Permite explicitamente /blog/ (o que é útil se uma pasta superior estiver bloqueada). Também aponta os bots para o teu sitemap.
Eis outro exemplo com regras mais específicas:
User-agent: Googlebot
Disallow: /temp/
User-agent: *
Disallow: /test/
Disallow: /*.pdf
Crawl-delay: 5
Isto bloqueia apenas o rastreador do Google em /temp/. Todos os outros bots ficam bloqueados em /test/ e em todos os ficheiros PDF. O crawl-delay diz aos bots para esperarem 5 segundos entre pedidos.
Como o robots.txt ajuda o SEO
O robots.txt ajuda o SEO de uma forma principal: preserva o orçamento de rastreio. Os motores de busca atribuem uma quantidade limitada de orçamento de rastreio a cada site. Nos sites pequenos, o orçamento de rastreio raramente é um problema. Nos sites grandes, com milhares de páginas, o orçamento de rastreio importa.
Se o teu site tem 10,000 páginas mas só 500 são importantes, queres que os bots rastreiem as 500 páginas importantes várias vezes, em vez de espalharem o orçamento de rastreio pelas 10,000 páginas. O robots.txt impede os bots de perder tempo em páginas sem importância.
Páginas comuns a bloquear: áreas de administração, páginas de início de sessão, páginas de agradecimento, páginas de teste, conteúdo duplicado, páginas de sessão e conteúdo temporário. Bloquear estas páginas diz aos bots para se focarem no conteúdo que importa.
O que não bloquear no robots.txt
Não bloqueies páginas que queres posicionar. Não bloqueies a tua secção de blog nem as áreas de conteúdo principais. Não bloqueies ficheiros CSS, JavaScript ou de imagem necessários para renderizar as páginas corretamente (a não ser que queiras especificamente impedir a indexação).
O Google recomenda não bloquear ficheiros CSS, JavaScript e de imagem, mesmo que não os queiras indexados. Bloquear estes recursos pode impedir o Google de renderizar e perceber corretamente as tuas páginas.
Não uses o robots.txt para esconder informação sensível. O robots.txt é público. Qualquer pessoa pode ler seusite.com/robots.txt. Se queres mesmo esconder algo, usa proteção por palavra-passe ou autenticação no servidor, e não o robots.txt.
Como criar um ficheiro robots.txt
Criar um robots.txt é simples. É um ficheiro de texto simples. A maioria dos criadores de websites e das plataformas de CMS gera um automaticamente.
Se o teu CMS não criou um, cria-o manualmente. Abre um editor de texto. Escreve as tuas regras. Guarda-o como "robots.txt" (e não "robots.txt.txt"). Carrega-o para o diretório raiz do teu site (seusite.com/robots.txt).
Testa o teu ficheiro robots.txt. Vai ao Google Search Console, seleciona a tua propriedade, vai à ferramenta Robots.txt Tester e cola as tuas regras. O Google vai mostrar-te o que o ficheiro bloqueia e permite. Isto confirma que as tuas regras funcionam como pretendes.
Regras e exemplos comuns de robots.txt
Eis a regra mais comum: bloquear todos os bots de um diretório específico.
User-agent: *
Disallow: /admin/
Eis como bloquear um tipo de ficheiro específico (como PDFs):
User-agent: *
Disallow: /*.pdf
Eis como bloquear todos os bots exceto o Google:
User-agent: *
Disallow: /
User-agent: Googlebot
Disallow:
Eis como acrescentar um atraso de rastreio (esperar X segundos entre pedidos):
User-agent: *
Crawl-delay: 10
Eis como apontar os bots para o teu sitemap:
Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap2.xml
Limitações importantes do robots.txt
O robots.txt não é uma ferramenta de segurança. É um sistema de cortesia. Os bots maus, os hackers e os rastreadores maliciosos ignoram por completo o robots.txt. Não o uses para esconder dados sensíveis nem proteger páginas importantes. Usa proteção por palavra-passe para isso.
O robots.txt não garante a exclusão dos resultados de pesquisa. O Google por vezes indexa páginas listadas no robots.txt se forem ligadas a partir de outras páginas indexadas. O bloqueio impede o rastreio, mas não a indexação, se a página estiver ligada noutro lado.
O robots.txt não é um noindex. Se queres impedir totalmente a indexação, usa uma meta tag robots ou um cabeçalho X-Robots-Tag, e não o robots.txt. O robots.txt só controla o rastreio, e não a indexação.
Perguntas frequentes
O robots.txt afeta os posicionamentos de SEO?
De forma indireta. O robots.txt não afeta diretamente os posicionamentos. No entanto, ao encaminhar o orçamento de rastreio para as páginas importantes, ajudas os motores de busca a rastrear e a indexar o teu melhor conteúdo com mais frequência. Melhor rastreio leva a melhor indexação, que leva a melhor potencial de posicionamento. Por isso, o robots.txt ajuda os posicionamentos de forma indireta através da gestão do orçamento de rastreio. Com o criador de websites do WEMASY, podes montar isto diretamente no teu website.
Posso impedir o Google de rastrear o meu site?
Sim, mas não deves. Podes bloquear o Googlebot no robots.txt, mas isso impede o Google de indexar o teu site. O teu site vai desaparecer da pesquisa do Google. A única razão para o fazer é se estás a pôr o teu site offline ou a mudá-lo e não queres a versão antiga indexada. Em quase todos os casos, deves deixar o Google rastrear.
O robots.txt distingue maiúsculas de minúsculas?
Em parte. Os comandos User-agent e Disallow não distinguem maiúsculas de minúsculas. Os caminhos que bloqueias distinguem-nas na maioria dos servidores. /Admin/ e /admin/ são caminhos diferentes. Testa as tuas regras no Google Search Console para teres a certeza de que funcionam como pretendes.
Devo bloquear páginas duplicadas com o robots.txt?
Depende. O robots.txt bloqueia o rastreio, mas não a indexação. Se queres impedir a indexação de páginas duplicadas, usa a tag canonical ou a meta tag robots noindex. Usa o robots.txt para bloquear o rastreio de duplicados sem importância que não te importa que o Google alguma vez encontre.
Preciso de avisar o Google quando altero o robots.txt?
Não. O Google rastreia o robots.txt com frequência. As alterações costumam fazer efeito em poucas horas. Não precisas de voltar a submeter o teu site nem de avisar ninguém. Basta atualizar o robots.txt e esperar pelo próximo rastreio.
Qual é a diferença entre o robots.txt e as meta tags robots?
O robots.txt bloqueia o rastreio ao nível do ficheiro. As meta tags robots controlam a indexação ao nível da página. O robots.txt diz que uma página não pode ser rastreada. As meta tags robots (como noindex) dizem que uma página pode ser rastreada mas não deve ser indexada. Usa o robots.txt para grandes secções que queres bloquear. Usa as meta tags robots para páginas individuais que queres rastreadas mas não indexadas.