Como o HTTPS e os certificados SSL afetam o acesso dos crawlers de IA

Erros no certificado SSL bloqueiam todos os crawlers de IA. Vê porque o HTTPS importa, o que impede a indexação por IA e como verificar a tua configuração.

Rascunho

O certificado SSL do teu site funciona bem para os visitantes humanos. Mas crawlers de IA como o GPTBot, o ClaudeBot e o PerplexityBot não conseguem aceder de todo ao teu conteúdo.

A maioria das estratégias de GEO foca-se no robots.txt e na otimização do conteúdo. Mas, antes de um crawler de IA conseguir ler o teu ficheiro robots.txt, tem de concluir com sucesso um handshake HTTPS com o teu servidor. Se esse handshake falhar, o teu conteúdo fica invisível para a IA, por muito bem otimizado que esteja.

Este artigo explica porque é que o HTTPS e os certificados SSL são a base da visibilidade em IA. Vais aprender que camadas de segurança afetam os crawlers, que erros de SSL bloqueiam a indexação por IA e como verificar se todas as principais plataformas de IA conseguem aceder ao teu site.

O que são o HTTPS e os certificados SSL

O HTTPS é o HTTP com uma camada de segurança por cima. Quando um visitante ou um crawler se liga ao teu website, o HTTPS cifra os dados que viajam entre o navegador (ou o crawler) e o teu servidor, usando o SSL (Secure Sockets Layer) ou o seu sucessor moderno, o TLS (Transport Layer Security).

Um certificado SSL é a credencial digital que o teu servidor usa para provar que é quem diz ser. Contém o nome de domínio do teu site, a entidade que emitiu o certificado e uma data de validade. Quando um crawler chega ao teu site, o servidor mostra o certificado como prova de identidade. O crawler verifica esse certificado antes de aceder a qualquer conteúdo.

Este processo é invisível para os visitantes humanos em navegadores modernos: eles só veem um cadeado verde. Mas, se o teu certificado não existir, tiver expirado, for autoassinado ou não corresponder ao teu domínio, o handshake falha. E essa falha bloqueia os crawlers por completo.

Porque é que os crawlers de IA precisam de HTTPS para chegar ao teu conteúdo

Os crawlers de IA fazem pedidos HTTP tal como o Googlebot. Seguem links, obtêm páginas e analisam HTML. Mas, ao contrário de alguns crawlers mais antigos, todas as plataformas de IA modernas (o crawler do ChatGPT, o do Perplexity, o do Claude) exigem uma ligação HTTPS válida antes de sequer tentarem ler o robots.txt ou obter uma única página.

Isto é o que acontece quando um crawler de IA visita o teu site. Primeiro, tenta estabelecer uma ligação segura ao teu domínio através de TLS. O teu servidor responde com um certificado SSL. O crawler verifica se o certificado é autêntico e corresponde ao teu domínio. Só se essa verificação for bem-sucedida é que o crawler avança para os pedidos reais do teu conteúdo.

Se o teu certificado SSL for inválido ou tiver expirado, o crawler pára no segundo passo e nunca obtém o teu conteúdo. Do ponto de vista do crawler, o teu site está inacessível. Não volta a tentar amanhã. Marca o teu domínio como inacessível e segue em frente.

Isto é diferente do SEO tradicional, em que o Google volta a tentar os pedidos falhados e acaba por indexar o conteúdo mesmo que tenha havido problemas de ligação temporários. Os crawlers de IA são mais rigorosos nas primeiras tentativas de acesso. Um handshake SSL falhado no primeiro pedido significa muitas vezes que não há indexação nenhuma.

Como os problemas com certificados SSL bloqueiam os crawlers de IA

Nem todos os problemas de SSL são óbvios. Um certificado pode estar tecnicamente instalado e, mesmo assim, não ser validado por determinados crawlers. Os bloqueios mais comuns são:

Certificados expirados

Um certificado que passou da data de validade é inválido. Os crawlers rejeitam-no de imediato. Alguns sites usam certificados de vida muito curta (30 a 90 dias) e renovam-nos automaticamente. Se a automatização falhar, o certificado expira sem ninguém reparar e os crawlers perdem o acesso instantaneamente.

Certificados autoassinados

Um certificado autoassinado é assinado pelo teu próprio servidor, em vez de por uma autoridade de certificação de confiança. Os navegadores e os crawlers não confiam em certificados autoassinados, porque qualquer pessoa podia criar um e dizer-se outra pessoa. Os certificados autoassinados servem para desenvolvimento ou redes internas, mas bloqueiam todo o acesso público dos crawlers.

Domínio que não corresponde

Se o teu certificado for emitido para example.com mas acederes ao site por www.example.com (ou vice-versa), o domínio do certificado não corresponde ao domínio pedido. Os crawlers rejeitam-no. Até uma pequena diferença conta: um certificado SSL para sub.example.com não é validado se o crawler pedir content.example.com.

Problemas na cadeia de certificados

Um certificado SSL faz parte de uma cadeia que remonta a uma autoridade de raiz. Se o teu servidor não estiver configurado para enviar a cadeia completa (tens o certificado final, mas não os certificados intermédios), os crawlers podem não conseguir verificar a tua identidade. Alguns crawlers são tolerantes e tentam encontrar online o certificado intermédio em falta. Outros rejeitam a ligação de imediato.

Problemas de configuração do SNI

O Server Name Indication (SNI) permite que um único servidor aloje vários sites HTTPS, identificando qual o site que o visitante está a pedir. Se o teu servidor não estiver configurado para SNI ou tiver uma configuração de SNI incorreta, os crawlers que pedem o teu domínio podem receber o certificado de outro domínio. Isto faz a validação falhar.

Cabeçalhos de segurança que afetam o acesso dos crawlers de IA

Depois de o handshake SSL ser bem-sucedido, o teu servidor pode enviar cabeçalhos de segurança que controlam a forma como os crawlers interagem com o teu conteúdo. Estes cabeçalhos não bloqueiam os crawlers por completo, mas afetam a forma como estes tratam as tuas páginas.

Strict-Transport-Security (HSTS)

O HSTS diz aos crawlers para usarem sempre HTTPS ao aceder ao teu site, nunca HTTP. Isto é bom para a segurança e não bloqueia os crawlers. Mas, se configurares mal o HSTS com uma validade muito longa e depois passares para um certificado inválido, crias uma situação em que os crawlers são obrigados a usar HTTPS mas não conseguem concluir o handshake. Garante que a tua política HSTS é acompanhada de certificados válidos durante todo o período que indicares.

X-Frame-Options e X-Content-Type-Options

Estes cabeçalhos dizem aos crawlers como tratar o teu conteúdo. Não os impedem de o obter. Mas podem afetar a forma como os crawlers analisam e extraem informação das tuas páginas.

Content-Security-Policy

Os cabeçalhos CSP podem restringir os recursos a que os crawlers acedem a partir das tuas páginas. Se tiveres uma CSP muito restritiva que bloqueie recursos externos, os crawlers podem não conseguir obter imagens, folhas de estilo ou scripts referenciados nas tuas páginas. Isto não bloqueia o HTML em si, mas limita os sinais que os crawlers conseguem extrair.

Erros de SSL comuns e o que significam para a indexação por IA

Quando um crawler de IA não consegue verificar o teu certificado SSL, regista um erro. Perceber estes erros ajuda a diagnosticar o que está avariado. Estes são os mais comuns:

Certificado expirado

O teu certificado SSL passou da data de validade. Os crawlers veem essa data no certificado e rejeitam-no. É o problema mais fácil de detetar e de corrigir. Verifica a data de validade do teu certificado e renova-o antes de expirar.

O certificado não corresponde ao domínio

O nome de domínio do certificado não corresponde ao domínio que o crawler está a pedir. Acontece muitas vezes quando mudas para um novo domínio e te esqueces de atualizar o certificado SSL, ou quando acrescentas um subdomínio mas o certificado só cobre o domínio principal.

Não foi possível verificar a autoridade de certificação

O crawler não consegue ligar o teu certificado a uma autoridade de raiz de confiança. Isto acontece se o certificado foi emitido por uma autoridade não confiável ou se o teu servidor não enviou a cadeia completa de certificados intermédios.

O certificado foi revogado

A tua autoridade de certificação revogou o certificado devido a um incidente de segurança ou a uma configuração errada. Os crawlers verificam o estado de revogação e recusam o acesso. É raro, mas grave quando acontece.

Como verificar a tua configuração HTTPS para os crawlers de IA

A melhor forma de garantir que os crawlers de IA acedem ao teu site é testá-lo tu mesmo. Estes passos de diagnóstico fazem parte de uma auditoria técnica de GEO mais ampla. Aqui tens como verificar especificamente problemas de HTTPS:

Usa verificadores de SSL online

Ferramentas gratuitas de verificação de SSL fazem uma análise completa da tua configuração. Verificam a validade do certificado, a integridade da cadeia, o suporte de versões de TLS e vulnerabilidades conhecidas. Passa o teu domínio por estas ferramentas e corrige todos os erros que reportarem.

Testa com curl ou wget

A partir de um terminal, executa curl -I https://yourdomain.com ou wget com a opção spider e o endereço https://yourdomain.com. Estas ferramentas imitam o que um crawler faz. Se falharem com um erro de SSL, os crawlers também vão falhar. A mensagem de erro diz-te exatamente o que está mal.

Verifica com o OpenSSL

O OpenSSL é a ferramenta padrão para diagnóstico de SSL. Executa openssl s_client -connect yourdomain.com:443 para ver exatamente que certificado o teu servidor está a apresentar e se é validado corretamente.

Verifica se a cadeia de certificados está completa

Usa uma ferramenta de teste de SSL em linha de comandos para verificar se o teu servidor está a enviar a cadeia de certificados completa. Se faltarem certificados intermédios, acrescenta-os à configuração do servidor.

Testa nas várias plataformas de IA

Alguns crawlers de IA são mais rigorosos do que outros na validação do SSL. Testa o teu site pedindo uma resposta que inclua o teu conteúdo ao ChatGPT, ao Perplexity, ao Claude e ao Google Gemini. Se uma plataforma não conseguir aceder ao teu site, consulta a documentação do respetivo crawler para ver que requisitos de SSL possa ter. As diferentes plataformas de IA têm comportamentos de crawler diferentes, que podes conhecer melhor nos nossos guias sobre otimização para a pesquisa do ChatGPT e otimização para a plataforma Perplexity.

Como o WEMASY trata do SSL e da segurança para a rastreabilidade por IA

Todos os websites criados no WEMASY incluem HTTPS automático com um certificado SSL válido, emitido por uma autoridade de confiança. O teu certificado é fornecido, renovado e monitorizado automaticamente. Não tens de gerir datas de validade nem ciclos de renovação.

O WEMASY também configura o certificado para cobrir o teu domínio principal e o subdomínio www, eliminando os erros de domínio que não corresponde. A cadeia de certificados completa é enviada automaticamente, para que os crawlers possam verificar a tua identidade sem erros.

Os teus cabeçalhos HSTS são configurados com uma validade razoável, para que a segurança se mantenha sem criar um problema de arranque caso precises de alterar certificados. Sabe mais sobre as funcionalidades de segurança e desempenho incluídas em cada plano WEMASY.

Perguntas frequentes

Os crawlers de IA suportam HTTPS e HTTP?

Não. Todos os principais crawlers de IA (GPTBot, ClaudeBot, PerplexityBot) exigem exclusivamente HTTPS. Não suportam HTTP. Um site que funcione em HTTP não pode ser acedido de todo pelos crawlers de IA. Se tens um site mais antigo ainda em HTTP, migra para HTTPS imediatamente. O HTTPS é obrigatório para o acesso dos crawlers de IA. Com o criador de websites do WEMASY, podes configurar isto diretamente no teu website.

Um certificado SSL wildcard funciona para todos os subdomínios?

Sim. Um certificado wildcard (*.example.com) cobre qualquer subdomínio do teu domínio principal. Se tens subdomínios como api.example.com ou blog.example.com, um certificado wildcard cobre todos. No entanto, um certificado wildcard não cobre o próprio domínio principal (example.com), a menos que seja incluído explicitamente. Garante que o teu certificado wildcard cobre tanto o wildcard como o domínio principal.

Os crawlers de IA seguem os redirecionamentos de HTTP para HTTPS?

A maioria segue. Se o teu servidor redirecionar os pedidos HTTP para HTTPS (uma configuração comum), os crawlers de IA seguem o redirecionamento e continuam com a ligação HTTPS. No entanto, isto acrescenta um passo extra e gasta mais recursos do crawler. A melhor prática é desativar totalmente o HTTP e aceitar apenas ligações HTTPS. Assim garantes que não há custo de redirecionamento e que nenhum crawler chega a uma versão não cifrada do teu site.

Com que frequência devo renovar o meu certificado SSL?

Os certificados SSL modernos duram normalmente um ano. A maioria dos fornecedores de alojamento e das plataformas (incluindo o WEMASY) trata da renovação automaticamente. Não precisas de renovar manualmente, a não ser que tenhas uma configuração de alojamento muito antiga. Define lembretes no calendário para 30 dias antes de expirar, por precaução, mas a renovação automática deve evitar por completo problemas de expiração.

Um mau certificado SSL prejudica o meu posicionamento de SEO?

Sim. O Google exige HTTPS e trata os sites sem HTTPS válido como de menor qualidade. Um certificado SSL expirado ou inválido é tratado como um site HTTP: penalizado nos resultados. Para a visibilidade em IA, a penalização é ainda mais severa, porque os crawlers de IA não conseguem aceder de todo a certificados expirados. Não vão indexar o teu conteúdo, por muito bem otimizado que esteja.

Posso usar um certificado autoassinado num website em produção?

Não. Os certificados autoassinados são rejeitados por todos os principais crawlers e navegadores. Só são adequados para desenvolvimento, testes ou redes internas em que controlas todos os clientes que se ligam ao servidor. Para qualquer website público, usa um certificado emitido por uma autoridade de certificação (AC) de confiança. A maioria das autoridades de certificação oferece certificados muito baratos ou gratuitos para uso básico.

Põe isto em prática
no teu próprio site.

Começa grátis com a WEMASY e cria o teu site em poucos minutos.