Controlar se o ChatGPT pode encontrar e citar o teu conteúdo envolve três mecanismos distintos: o robots.txt, as meta tags e os cabeçalhos HTTP. A maioria das pessoas conhece um. Perceber os três permite-te fazer uma escolha deliberada sobre a tua estratégia de visibilidade.
Não se trata só de bloquear ou permitir. Trata-se de agir com intenção. Diretivas diferentes dão resultados diferentes. A combinação errada pode sair-te cara.
As três camadas de controlo
Tens três formas de comunicar com os crawlers do ChatGPT sobre o teu conteúdo.
Camada 1: robots.txt
Este ficheiro, na raiz do teu domínio, diz aos crawlers o que podem e não podem aceder em todo o teu site ou em secções específicas. Controla a descoberta e o rastreio.
Camada 2: tags meta robots
Estas meta tags HTML, em cada página, dizem aos crawlers o que fazer depois de encontrarem e lerem a página. Controlam a indexação e o uso dessa página em concreto.
Camada 3: cabeçalhos HTTP X-Robots-Tag
Este cabeçalho, na resposta HTTP do teu servidor, tem o mesmo propósito das tags meta robots, mas pode ser aplicado a todo o site ou a tipos de conteúdo específicos. É útil para conteúdo que não é HTML, como PDFs.
A maioria das pessoas foca-se no robots.txt e esquece as outras duas. As três funcionam em conjunto.
Camada 1: perceber o robots.txt e o OAI-SearchBot
O teu ficheiro robots.txt comunica com o OAI-SearchBot (o crawler de pesquisa do ChatGPT). O ChatGPT respeita as diretivas normais do robots.txt.
Para permitir que o OAI-SearchBot aceda ao teu conteúdo
User-agent: OAI-SearchBot
Allow: /
Este é o comportamento por defeito. O OAI-SearchBot vai percorrer todo o teu site e o teu conteúdo fica visível na pesquisa do ChatGPT.
Para bloquear totalmente o OAI-SearchBot
User-agent: OAI-SearchBot
Disallow: /
Isto impede a pesquisa do ChatGPT de encontrar o teu conteúdo. As tuas páginas não vão aparecer nas respostas do ChatGPT.
Para permitir o OAI-SearchBot mas controlar a frequência de rastreio
User-agent: OAI-SearchBot
Allow: /
Crawl-delay: 1
A diretiva Crawl-delay diz ao bot para esperar 1 segundo entre pedidos. Ajuda a gerir a carga do servidor se o crawler do ChatGPT estiver a aceder ao teu servidor com demasiada frequência.
Para bloquear secções específicas
User-agent: OAI-SearchBot
Disallow: /admin/
Disallow: /private/
Allow: /
Isto bloqueia o rastreio das pastas /admin/ e /private/ e permite o acesso a tudo o resto.
O princípio essencial: o robots.txt controla a descoberta e o rastreio. Se bloqueares um crawler aqui, ele não consegue aceder à página de todo e, por isso, não consegue ler nenhuma meta tag dessa página.
Camada 2: tags meta robots, controlo depois da descoberta
Depois de o OAI-SearchBot percorrer a tua página (ou seja, não foi bloqueado no robots.txt), as tags meta robots dizem-lhe o que fazer com o conteúdo.
A estrutura da tag meta robots
<meta name="robots" content="directive1, directive2">
Diretivas principais para crawlers de IA
noindex: não indexar esta página nem incluí-la em resumos. O crawler vê a página, mas não a usa.
nofollow: não seguir os links desta página. O crawler pode ver a página, mas não vai percorrer os links que ela contém.
noai: não usar este conteúdo para treinar modelos de IA. A página pode aparecer nos resultados de pesquisa, mas a OpenAI não pode usá-la para treinar modelos de linguagem.
noimageai: não usar as imagens desta página para treinar modelos de geração de imagens.
Exemplo
<meta name="robots" content="noindex">
Isto diz a todos os crawlers (Google, Bing, ChatGPT, etc.) para não indexarem esta página. O ChatGPT não a vai citar, a Google não a vai mostrar e o Bing não a vai incluir.
Específico para o OAI-SearchBot
<meta name="robots" content="noai">
Isto diz especificamente ao OAI-SearchBot para não usar o conteúdo para treino. A página ainda pode ser citada nos resultados da pesquisa do ChatGPT, mas a OpenAI não a pode usar para treinar modelos.
Regra crítica: não combines robots.txt e noindex
Esta é a regra técnica mais importante. Nunca faças isto:
User-agent: OAI-SearchBot
Disallow: /article/
E depois também isto na página do artigo:
<meta name="robots" content="noindex">
Porquê: se bloqueares o acesso do OAI-SearchBot a /article/ através do robots.txt, o crawler nunca vai buscar essa página. Nunca lê a meta tag. A diretiva noindex não tem efeito, porque o crawler nunca a vê. Além disso, se a tua página tiver links de sites externos, alguns crawlers podem indexá-la na mesma, porque a descobriram através desses links, mesmo que o teu robots.txt dissesse que não.
A regra: usa o robots.txt OU as meta tags, não os dois para a mesma diretiva.
Boa prática: usa o robots.txt para controlar o rastreio do site todo (permitir ou proibir secções inteiras). Usa as meta tags para controlo ao nível da página (páginas individuais com regras especiais).
Camada 3: cabeçalhos HTTP X-Robots-Tag
Se queres controlar o comportamento dos crawlers em conteúdo que não é HTML (PDFs, imagens, etc.), ou aplicar regras a várias páginas sem editar cada uma, usa o cabeçalho HTTP X-Robots-Tag.
Exemplo:
X-Robots-Tag: noindex, nofollow
Isto é aplicado ao nível do servidor e diz a todos os crawlers para não indexarem nem seguirem os links de qualquer página servida com este cabeçalho.
Podes aplicá-lo de forma seletiva:
X-Robots-Tag: OAI-SearchBot: noai
Isto diz apenas ao OAI-SearchBot para não usar o teu conteúdo para treino, mas permite-o na pesquisa.
Escolhas estratégicas: o que queres realmente
A tua escolha depende do teu objetivo.
Objetivo 1: maximizar as citações no ChatGPT
Permite no robots.txt, sem meta tags noindex. Deixa o OAI-SearchBot encontrar-te e citar-te.
User-agent: OAI-SearchBot
Allow: /
Sem meta tags restritivas.
Objetivo 2: aparecer na pesquisa do ChatGPT mas impedir o treino de modelos
Permite no robots.txt e usa a meta tag noai.
User-agent: OAI-SearchBot
Allow: /
<meta name="robots" content="noai">
Objetivo 3: esconder-te do ChatGPT mas permitir os outros motores de pesquisa
Bloqueia o OAI-SearchBot e permite os outros.
User-agent: OAI-SearchBot
Disallow: /
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
Objetivo 4: esconder-te de todos os crawlers de IA
Bloqueia vários bots.
User-agent: OAI-SearchBot
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: Googlebot
Allow: /
O problema do cumprimento: nem todos os crawlers de IA respeitam estas regras
Eis a verdade desconfortável: os diferentes crawlers de IA têm níveis de cumprimento diferentes.
Os testes mostram que o ChatGPT respeita o robots.txt e algumas meta tags. O Perplexity respeita ambos de forma consistente. Outros sistemas de IA têm um cumprimento variável. Alguns scrapers de IA mais antigos não respeitam o robots.txt de todo.
Consegues controlar bem os crawlers da OpenAI. Não consegues controlar totalmente todos os sistemas de IA que possam copiar o teu conteúdo.
Como o WEMASY te ajuda a gerir o acesso dos crawlers
O criador de websites do WEMASY inclui um editor de robots.txt onde podes configurar as permissões do OAI-SearchBot sem editar ficheiros em bruto. Podes adicionar tags meta robots a páginas individuais através do painel de definições de SEO. O criador vem com as melhores práticas pré-configuradas: permite o OAI-SearchBot para visibilidade na pesquisa e deixa-te adicionar noai se não quiseres treino de modelos. Acompanha os registos de rastreio para ver que crawlers acedem ao teu site e ajusta as permissões em conformidade. Vê as ferramentas de gestão de crawlers do WEMASY.
Perguntas frequentes
Se bloquear o OAI-SearchBot no robots.txt, o meu conteúdo ainda pode aparecer no ChatGPT através de links?
É improvável. O OAI-SearchBot é o principal crawler de pesquisa do ChatGPT. Se estiver bloqueado, não tens presença na pesquisa do ChatGPT. No entanto, se outro sistema tiver links para o teu conteúdo, um crawler diferente pode ir buscá-lo. Isto é imprevisível. Com o criador de websites do WEMASY, podes configurar isto diretamente no teu website.
O que faz realmente a meta tag noai?
Diz à OpenAI para não usar o teu conteúdo para treinar os seus modelos de linguagem. O teu conteúdo continua a poder aparecer nos resultados da pesquisa do ChatGPT, com citações. Sem esta tag, a OpenAI pode usar o teu conteúdo para treinar o ChatGPT e outros modelos.
Devo usar noindex se não quiser aparecer no ChatGPT?
Sim, mas percebe o que faz: o noindex diz a todos os crawlers (Google, Bing, ChatGPT, etc.) para não indexarem a página. Usa-o se quiseres esconder-te de todos os resultados de pesquisa. Se quiseres esconder-te só do ChatGPT mas continuar visível na Google, não uses noindex. Em vez disso, bloqueia o OAI-SearchBot no robots.txt.
Quanto tempo demoram a fazer efeito as alterações ao robots.txt ou às meta tags?
As alterações ao robots.txt costumam ser respeitadas em 24 horas. As alterações às meta tags são respeitadas da próxima vez que o crawler voltar a visitar a página. Para testar de imediato, podes verificar com a ferramenta de teste de crawlers da OpenAI ou através do Bing Webmaster Tools.
Posso bloquear todos os crawlers de IA e permitir a Google?
Sim. No teu robots.txt, proíbe o GPTBot, o OAI-SearchBot, o ChatGPT-User e outros bots de IA e permite o Googlebot e o Bingbot. No entanto, isto não impede que sistemas de IA que não respeitam o robots.txt acedam ao teu conteúdo.
E se o meu crawler vir um X-Robots-Tag e um robots.txt que se contradizem?
O robots.txt é avaliado primeiro. Se o robots.txt bloquear um crawler, ele não vai buscar a página, por isso nunca vê o X-Robots-Tag. Se o robots.txt o permitir, aplicam-se as diretivas do X-Robots-Tag. Garante que estão alinhados.