O teu ficheiro robots.txt é um ficheiro de texto que fica na pasta raiz do teu website. Diz aos crawlers que páginas podem aceder e quais estão interditas. Nos motores de pesquisa tradicionais, o robots.txt é opcional. Nos crawlers de IA, é a principal ferramenta para controlares se o teu conteúdo é indexado ou bloqueado.
A diferença importa. O Google respeita o robots.txt, mas também rastreia páginas que bloqueias se outros sites tiverem links para elas. Os crawlers de IA respeitam o robots.txt de forma mais estrita. Se bloqueares o GPTBot no teu robots.txt, o ChatGPT não vai citar o teu conteúdo. Se o permitires, o teu conteúdo fica disponível para citações da IA. Este capítulo explica como se chama cada um dos principais crawlers de IA, como bloquear bots específicos e que estratégia faz sentido para a tua marca.
Como funciona o robots.txt nos crawlers de IA
Quando um crawler visita o teu site, a primeira coisa que faz é procurar um ficheiro robots.txt. Lê o ficheiro linha a linha, à procura de regras que se apliquem a ele. Se o teu robots.txt disser "disallow: /", nenhum crawler pode aceder a nenhuma página. Se disser "disallow: /admin/", os crawlers podem aceder a tudo, exceto à pasta de administração.
Os crawlers de IA seguem estas regras com mais consistência do que o Googlebot. Se bloqueares o ClaudeBot no robots.txt, o Claude não vai indexar o teu conteúdo. Ponto final. O Googlebot pode continuar a rastrear páginas que bloqueias, se o conteúdo tiver links de outros sites, mas os crawlers de IA param na instrução do robots.txt.
O formato é simples. Escreves regras que indicam que user agents (nomes de crawlers) se aplicam a que regras e depois listas o que esses crawlers podem e não podem aceder. O ficheiro é texto simples. Sem marcação. Sem formatação especial. Só regras.
Os principais crawlers de IA e os nomes dos seus user agents
Cada crawler tem um nome de user agent. Quando visita o teu site, identifica-se com esse nome. Usas esse nome no teu ficheiro robots.txt para criar regras específicas para esse crawler.
Estes são os principais crawlers de IA que deves conhecer:
GPTBot (OpenAI)
O GPTBot é o crawler da OpenAI. Indexa conteúdo para o ChatGPT. Quando um utilizador ativa a pesquisa na web no ChatGPT, o sistema vai buscar às páginas que o GPTBot indexou. O GPTBot rastreia de forma intensa, mas respeita as regras do robots.txt.
Para permitir o GPTBot, não faças nada. Ele rastreia por defeito. Para o bloquear, acrescenta estas linhas ao teu robots.txt:
User-agent: GPTBot
Disallow: /
Esta regra diz "GPTBot, não podes aceder a nenhuma página deste site." Se só quiseres bloquear secções específicas, podes ser mais preciso. Bloqueia a pasta /admin/ mas permite o resto:
User-agent: GPTBot
Disallow: /admin/
ClaudeBot (Anthropic)
O ClaudeBot é o crawler da Anthropic. Indexa conteúdo para a pesquisa na web do Claude. O ClaudeBot é mais intenso do que o GPTBot. Faz mais pedidos e rastreia com mais frequência. Se permitires o ClaudeBot, monitoriza os recursos do teu servidor.
O ClaudeBot identifica-se com este nome de user agent. Usa-o no teu robots.txt da mesma forma que usarias para o GPTBot:
User-agent: ClaudeBot
Disallow: /
PerplexityBot (Perplexity)
O PerplexityBot rastreia a web para o Perplexity. É um dos crawlers mais frequentes. Atualiza conteúdo várias vezes por dia porque o Perplexity dá prioridade à atualidade. Se bloqueares o PerplexityBot, o teu conteúdo não vai aparecer nas respostas do Perplexity.
User-agent: PerplexityBot
Disallow: /
Googlebot-Extended (Google AI)
O Google tem dois crawlers. O Googlebot rastreia para a pesquisa tradicional. O Googlebot-Extended rastreia para os sistemas de IA do Google, como os AI Overviews e o Gemini. Podes bloquear o Googlebot-Extended e permitir o Googlebot.
User-agent: Googlebot-Extended
Disallow: /
Outros crawlers
Os motores de pesquisa da Rússia, da Microsoft e da Coreia do Sul, entre outros, também têm crawlers. O princípio é o mesmo. Identifica o nome do user agent e cria uma regra.
A estratégia: permitir ou bloquear?
A maioria das marcas deve permitir que os crawlers de IA acedam ao seu conteúdo. As citações da IA trazem tráfego de alta qualidade. Os utilizadores que encontram o teu conteúdo através do ChatGPT ou do Perplexity já decidiram que a tua resposta tem valor. Clicam e convertem a taxas mais altas do que os visitantes da pesquisa tradicional.
Há exceções. Se tens informação proprietária, segredos comerciais ou conteúdo que queres manter exclusivo, bloquear os crawlers de IA faz sentido. Se tens conteúdo pago, podes bloquear certos crawlers para evitar o acesso gratuito através de resumos de IA. Se tens conteúdo embaraçoso ou desatualizado, podes bloquear os crawlers de IA até o atualizares.
Mas, para a maioria do conteúdo, a conta é simples. A visibilidade em IA cria mais oportunidade do que risco. Permite os crawlers. Sê citado. Atrai tráfego.
Bloquear crawlers específicos e permitir outros
Não tens de escolher tudo ou nada. Podes permitir alguns crawlers de IA e bloquear outros.
Permite o Perplexity e o GPTBot mas bloqueia o ClaudeBot, porque a frequência de rastreamento do ClaudeBot sobrecarrega o teu servidor:
User-agent: ClaudeBot
Disallow: /
User-agent: GPTBot
Disallow:
User-agent: PerplexityBot
Disallow:
O "Disallow:" em branco significa sem restrições. Esse crawler pode aceder a tudo.
Também podes bloquear os crawlers de IA em secções específicas. Permite o GPTBot em todo o lado, exceto no teu painel de administração:
User-agent: GPTBot
Disallow: /admin/
Permite que rastreie o teu blogue mas não os teus produtos:
User-agent: GPTBot
Disallow: /products/
A regra com asterisco e o comportamento por defeito
Podes criar regras para crawlers específicos e uma regra por defeito para todos os outros. O asterisco (*) é o caráter universal que se aplica a todos os crawlers não mencionados em concreto.
Esta regra bloqueia todos os crawlers em /private/ mas permite todo o resto:
User-agent: *
Disallow: /private/
Esta regra impede todos os crawlers de aceder a qualquer coisa:
User-agent: *
Disallow: /
A diretiva crawl-delay
Podes dizer aos crawlers para abrandarem. A diretiva Crawl-delay diz a um crawler para esperar um certo número de segundos entre pedidos. Se o teu servidor está a ter dificuldades com o rastreamento intenso do ClaudeBot, podes dizer-lhe para abrandar:
User-agent: ClaudeBot
Crawl-delay: 5
Isto significa que o ClaudeBot tem de esperar 5 segundos entre cada pedido. Abranda o rastreamento mas reduz a carga no servidor.
Como o robots.txt se relaciona com o teu sitemap
O teu ficheiro robots.txt pode referenciar o teu sitemap. Acrescenta esta linha no fim do ficheiro robots.txt:
Sitemap: https://yoursite.com/sitemap.xml
Os crawlers consultam o teu robots.txt e veem a referência ao sitemap. Ficam a saber onde encontrar o mapa do teu conteúdo. Isto acelera a descoberta. Não muda o que os crawlers podem aceder. Só lhes diz onde procurar.
Testar o teu robots.txt
Podes testar o teu ficheiro robots.txt antes de o publicar. O Google Search Console inclui um testador de robots.txt. Introduzes um URL e o nome de um user agent e ele diz-te se esse crawler pode aceder a essa página de acordo com as regras do teu robots.txt.
A maioria das plataformas de conteúdo, incluindo o WEMASY, gera um ficheiro robots.txt automaticamente. Verifica as definições do teu site. Se o puderes editar, podes acrescentar regras personalizadas. Se não puderes, contacta o teu fornecedor de alojamento.
Perguntas frequentes
Se bloquear todos os crawlers de IA, o meu site continua a aparecer no Google?
Sim. Bloquear crawlers de IA (GPTBot, ClaudeBot, etc.) não afeta o posicionamento no Google. O Google usa o Googlebot para a pesquisa tradicional e o Googlebot-Extended para as funcionalidades de IA. Se quiseres bloquear apenas crawlers de IA mas manter o acesso do Google, bloqueia especificamente os nomes dos crawlers de IA e deixa o Googlebot e o Googlebot-Extended desbloqueados. Com o criador de websites do WEMASY, podes configurar isto diretamente no teu website.
Posso bloquear os crawlers de treino de IA mas permitir os de pesquisa com IA?
A linha entre crawlers de treino e de pesquisa é difusa. A maioria das grandes empresas de IA usa agora os mesmos crawlers para os dois fins. Se bloqueares totalmente um crawler de IA, bloqueias tanto o acesso para treino como o acesso para pesquisa. Não consegues bloquear seletivamente só o treino ou só a pesquisa com o robots.txt. Ou bloqueias o crawler por completo ou permites.
O que acontece se não tiver um ficheiro robots.txt?
Se não tiveres um ficheiro robots.txt, os crawlers assumem que podem aceder a tudo. Todos os crawlers (Google, outros motores de pesquisa, GPTBot, ClaudeBot, todos) vão indexar o teu site inteiro. Para a maioria dos sites, este é o comportamento desejado. Se quiseres bloquear crawlers ou secções específicas, precisas de um ficheiro robots.txt.
Os crawlers de IA podem contornar o meu ficheiro robots.txt?
Em teoria sim, mas não o fazem. Os crawlers de IA respeitam o robots.txt de forma mais estrita do que o Googlebot. Se disseres a um crawler de IA para ficar de fora, ele fica de fora. Os programadores dos crawlers sabem que desrespeitar o robots.txt prejudica a relação com os editores. Seguem as regras.
Com que frequência preciso de atualizar o meu ficheiro robots.txt?
Só precisas de o atualizar se as tuas regras de bloqueio mudarem. Se decidires bloquear um novo crawler ou abrir o acesso a uma secção antes bloqueada, atualiza-o. Caso contrário, depois de o configurares, podes deixá-lo como está. Os crawlers consultam-no sempre que visitam o site, por isso as alterações têm efeito imediato.
Devo impedir os crawlers de IA de aceder à minha análise de concorrentes ou a investigação privada?
Sim. Se tens páginas com investigação proprietária, análise competitiva ou conteúdo que não queres tornar público, bloqueia todos os crawlers dessas secções. Acrescenta uma regra disallow para essa pasta ou essas páginas. Os crawlers não as vão indexar e os sistemas de IA não vão ter acesso para as citar.