- Existem três papéis de bot: treino de modelo, índice de busca e requisição ao vivo pedida pelo usuário. Cada empresa usa user-agents distintos pra cada papel.
- A política do Arsenal é permitir os agentes documentados nas páginas públicas; outro negócio pode tomar decisão diferente para treino, busca e fetch.
- robots.txt liberado não basta: firewall e CDN podem barrar a requisição. Na Cloudflare, os controles variam por categoria, configuração e tipo de zona.
- Logs mostram que o servidor respondeu a um agente declarado; não provam compreensão, indexação, citação ou referral. User-agent e IP precisam ser verificados.
Por que você precisa conhecer esses robôs
Quando um viajante pergunta "pousada pé na areia em Maragogi com café incluso", a plataforma pode responder com conhecimento do modelo, busca na web, dados licenciados e outras fontes. O site do hotel é uma fonte possível — não a única — e cada fornecedor publica controles diferentes para acessá-lo.
No guia de GEO eu separo crawl, estruturação, recuperação e geração. Este post trata só do acesso técnico. Se um agente documentado não consegue buscar a página, aquela rota de aquisição fica indisponível; isso não significa que a marca desapareça de todas as demais fontes.
O bloqueio pode ser silencioso para o time de marketing: o site segue no ar para pessoas, mas um agente específico recebe 403, 429 ou uma regra de exclusão. O efeito posterior é desconhecido até ser medido. Permissão de crawl é pré-requisito técnico, não garantia de descoberta, citação ou tráfego.
Treino, busca e requisição do usuário: três papéis diferentes
O erro mais comum é tratar "bot de IA" como uma coisa só. As empresas de IA operam robôs com papéis distintos, com user-agents distintos, e você pode liberar ou bloquear cada um separadamente. São três papéis:
| Papel | O que faz | O que a permissão faz |
|---|---|---|
| Treino | Coleta conteúdo que pode ser usado no desenvolvimento de modelos | Torna o conteúdo elegível segundo a política do fornecedor; não garante memorização nem resposta futura |
| Busca / retrieval | Rastreia páginas para superfícies de busca e recuperação | Remove uma barreira de acesso; não garante indexação, seleção ou citação |
| Fetch do usuário | Abre uma página quando a ação parte de um usuário | Permite a tentativa de acesso naquele contexto; algumas políticas de robots podem não se aplicar |
A distinção importa porque bloquear treino é uma decisão diferente de bloquear busca ou fetch iniciado pelo usuário. O Arsenal escolheu permitir as três classes em conteúdo público, mas trata isso como política editorial e técnica — não como evidência de resultado.
O censo dos bots: quem é quem, segundo as docs oficiais
Tudo abaixo vem da documentação pública de cada empresa — linko cada uma. Não estou reportando frequência de visita nem comportamento observado por mim: isso varia por site e só os seus logs respondem (seção mais adiante).
OpenAI (ChatGPT)
A OpenAI documenta três user-agents e publica faixas de IP separadas:
GPTBot— crawler de treino. Coleta conteúdo que pode ser usado pra treinar modelos. Respeita robots.txt, segundo a doc.OAI-SearchBot— bot de busca. Indexa sites pra que apareçam citados e linkados nos resultados do ChatGPT Search. A doc afirma que ele não é usado pra treino e respeita robots.txt.ChatGPT-User— fetch iniciado pelo usuário. Não é crawler automático e não deve ser usado para controlar o ChatGPT Search; a OpenAI informa que regras de robots podem não se aplicar a esse tipo de ação.
Tradução prática: GPTBot controla uma política de treino; OAI-SearchBot, a elegibilidade para superfícies de busca; ChatGPT-User, uma ação iniciada pelo usuário. Nenhum deles, isoladamente, promete citação.
Anthropic (Claude)
A Anthropic segue a mesma lógica de três papéis, documentados na central de suporte:
ClaudeBot— crawler principal, coleta conteúdo que pode ser usado no treino dos modelos Claude. Respeita robots.txt, segundo a doc.Claude-SearchBot— indexação pra melhorar a qualidade dos resultados de busca do Claude.Claude-User— requisição do usuário: acessa a página quando alguém pede ao Claude pra consultar um site específico.
Perplexity
A Perplexity documenta dois user-agents — e aqui tem uma nuance importante:
PerplexityBot— indexa páginas pra citar como fonte nas respostas. A doc afirma que o conteúdo não é usado pra treinar modelos de fundação, e que o bot respeita robots.txt.Perplexity-User— requisição do usuário. A doc é transparente: como a visita foi pedida por um humano, esse agente geralmente ignora as regras do robots.txt. Ou seja: bloquear no robots.txt não impede a visita quando um usuário pergunta pelo seu hotel — o que, pra hotelaria, é uma boa notícia.
Google (Gemini e AI Overviews)
O caso do Google é o mais mal-entendido, e vale ler a lista oficial de crawlers com atenção:
Google-Extendednão é um user-agent HTTP separado. É um token de controle no robots.txt para o uso do conteúdo no desenvolvimento de modelos Gemini e em grounding de produtos Gemini.- A documentação informa que esse token não afeta inclusão nem ranking no Google Search. Isso não autoriza inferir efeito positivo ou negativo em AI Overviews.
GoogleOtheré um crawler genérico de equipes de produto; não deve ser apresentado como bot específico do Gemini ou de AI Overviews.
Meta (Meta AI)
A Meta documenta seus crawlers:
Meta-ExternalAgent— crawl pra treino de IA e melhoria de produtos.Meta-ExternalFetcher— busca links em ações iniciadas pelo usuário; a doc avisa que ele pode ignorar robots.txt justamente por ser requisição humana.
Apple (Siri e Apple Intelligence)
Mesma separação entre crawler e controle, documentada na página do Applebot: quem visita é o Applebot. O Applebot-Extended é um token de controle, não um agente separado. A Apple informa que bloquear o token não remove a página dos resultados do Applebot.
Common Crawl
O CCBot documenta a coleta de um corpus aberto da web e o respeito ao robots.txt. O corpus pode ser usado por terceiros, mas isso não equivale a visita, citação ou referral de uma plataforma específica.
Tabela-resumo
| User-agent | Empresa | Papel | Respeita robots.txt?* |
|---|---|---|---|
GPTBot | OpenAI | Treino | Sim |
OAI-SearchBot | OpenAI | Busca / índice | Sim |
ChatGPT-User | OpenAI | Fetch do usuário | Pode não se aplicar |
ClaudeBot | Anthropic | Treino / crawl | Sim |
Claude-SearchBot | Anthropic | Busca / índice | Sim |
Claude-User | Anthropic | Fetch do usuário | Sim |
PerplexityBot | Perplexity | Busca / índice | Sim |
Perplexity-User | Perplexity | Fetch do usuário | Geralmente não (doc) |
Google-Extended | Token de controle (treino Gemini) | É a própria regra | |
Meta-ExternalAgent | Meta | Treino / produtos | Sim |
Meta-ExternalFetcher | Meta | Fetch do usuário | Pode não se aplicar |
Applebot | Apple | Busca / retrieval | Sim |
Applebot-Extended | Apple | Token de controle (treino) | É a própria regra |
CCBot | Common Crawl | Corpus aberto | Sim |
* Classificação verificada em 25 de agosto de 2026 nas fontes oficiais acima. Políticas mudam; logs verificam resposta do servidor, não o uso posterior do conteúdo.
O robots.txt de um hotel: o que liberar, o que bloquear
A política depende do negócio. Um portal pode bloquear treino e manter busca; um hotel pode preferir ampla disponibilidade de suas informações públicas. O Arsenal permite os agentes documentados, porque trata o site como material de venda, mas mede descoberta, citação e referral separadamente.
Portal de notícia protege conteúdo. Hotel distribui argumento de venda. O robots.txt certo é diferente pra cada um.
Minha recomendação padrão pra hotéis e pousadas:
| Bot | Recomendação | Por quê |
|---|---|---|
GPTBot | Permitir | Política do Arsenal para elegibilidade de treino; não controla Search |
OAI-SearchBot | Permitir | Remove a barreira de crawl para busca; não garante citação |
ChatGPT-User | Permitir | Declara intenção para fetch do usuário, embora robots possa não se aplicar |
ClaudeBot, Claude-SearchBot, Claude-User | Permitir | Separa treino, busca e fetch no ecossistema Claude |
PerplexityBot, Perplexity-User | Permitir | Busca e fetch são classes distintas; acesso não é resultado |
Google-Extended | Permitir | Decisão de uso em Gemini; não altera inclusão ou ranking no Search |
Meta-ExternalAgent, Meta-ExternalFetcher | Permitir | Separa crawl de desenvolvimento e fetch do usuário |
Applebot, Applebot-Extended | Permitir | Separa crawler e token de controle |
CCBot | Permitir | Disponibiliza conteúdo ao corpus aberto; sem atribuição a uma plataforma |
Em robots.txt, "liberar" na prática costuma significar não escrever nada bloqueando — a ausência de regra já é permissão. Mas ser explícito tem valor de auditoria: registra pra você mesmo (e pra quem herdar o site) que a decisão foi tomada, e protege contra template copiado que bloqueava tudo. Um robots.txt explícito pra hotel:
# robots.txt — exemplo pra hotel/pousada
# Bots de IA: liberados de propósito. Não remova sem entender o custo.
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: Meta-ExternalAgent
Allow: /
User-agent: Applebot
Allow: /
User-agent: Applebot-Extended
Allow: /
User-agent: CCBot
Allow: /
# Demais robôs (inclui Googlebot)
User-agent: *
Allow: /
Sitemap: https://seuhotel.com.br/sitemap.xml
Se você quiser proteger áreas específicas (admin, carrinho, área do hóspede), use Disallow só nesses caminhos, pra todos os agentes — não bloqueie o site inteiro pra um agente específico.
O detalhe que anula tudo: firewall e CDN
robots.txt declara uma preferência; firewall é controle de acesso. Mesmo com robots.txt liberado, hospedagem, plugin de segurança ou CDN pode responder 403 ou 429. A Cloudflare hoje separa políticas de Search, AI user action e Training, e o comportamento depende da configuração e do tipo de zona. Confira o painel e registre a decisão; não presuma um padrão universal pela data em que o domínio foi criado.
Como conferir nos logs que os bots visitam seu site
Nenhuma dessas empresas publica frequência de crawl ("visitamos a cada X dias") — e desconfie de quem afirma isso com precisão. A frequência varia com o tamanho, a autoridade e a taxa de mudança de cada site. A única fonte de verdade sobre o seu site são os logs de acesso do seu servidor. Cada visita de bot fica registrada lá com data, página, código de resposta e user-agent.
1. Ache os logs
- Hospedagem compartilhada (cPanel/Plesk): procure "Acesso Bruto" / "Raw Access Logs" ou o visualizador de logs do painel.
- VPS ou servidor próprio: normalmente em
/var/log/nginx/access.logou/var/log/apache2/access.log. - Cloudflare: o painel mostra tráfego de bots por user-agent (Analytics → Security/Bots), mesmo sem acesso ao servidor de origem.
- Site feito por agência: peça pra agência rodar a verificação abaixo e te mandar o resultado. É pedido de uma linha.
2. Filtre pelos user-agents
# Quantas visitas cada bot de IA fez (Linux/Mac, log padrão Apache/Nginx)
grep -iEo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|Claude-SearchBot|PerplexityBot|Perplexity-User|Meta-ExternalAgent|Meta-ExternalFetcher|Applebot|Applebot-Extended|CCBot' access.log | sort | uniq -c | sort -rn
# Quais páginas o GPTBot leu, e com qual código de resposta
grep -i 'GPTBot' access.log | awk '{print $9, $7}' | sort | uniq -c | sort -rn | head -30
O que interpretar:
- Código 200 = o servidor respondeu à requisição. Não prova que o conteúdo foi compreendido, indexado ou citado.
- Código 403 ou 429 = o bot bateu e foi barrado — provavelmente firewall/CDN, mesmo com robots.txt liberado. É exatamente o problema silencioso deste post.
- Bot nenhum aparece = apenas ausência observada na janela do log. Descoberta, frequência e bloqueio anterior ao servidor são hipóteses a investigar, não conclusões automáticas.
- Quais URLs receberam requisição ajuda a mapear cobertura técnica. Conteúdo carregado só via JavaScript exige teste separado; o log sozinho não mostra o que o agente extraiu.
3. Confirme que o bot é quem diz ser
Qualquer script pode se apresentar como "GPTBot" — user-agent é só texto declarado. A OpenAI publica as faixas de IP oficiais, e outros fornecedores documentam listas ou validação de origem. Se a métrica vai sustentar um experimento, valide user-agent e origem; contar apenas a string não basta.
Vale a nota óbvia que quase ninguém checa: site que cai pra visitante humano cai pra bot também — e o bot não volta com boa vontade. Antes de discutir crawler, garanta uptime.
O que um bloqueio muda — e o que ele não prova
Um bloqueio confirmado remove uma rota técnica de acesso. Ele não mede, sozinho, perda de menções, cliques ou reservas. Essas etapas precisam de observação separada: logs para acesso, protocolo de prompts para descoberta/citação e analytics para referral.
A mesma cautela vale para táticas de conteúdo: o paper GEO de Princeton é a origem de métodos como citar fontes e acrescentar estatísticas, mas não encerra a evidência. O C-SEO Bench reavaliou esses métodos e não confirmou ganho estatisticamente significativo. Nem a política de crawler nem uma tática isolada deve ser tratada como prova de eficácia.
Na hotelaria, outras fontes podem continuar disponíveis mesmo quando o site oficial não está: OTAs, guias, mídia e diretórios. No estudo aberto de 375 respostas de descoberta, medido na API da Perplexity com o modelo sonar, essas classes aparecem com pesos diferentes. O estudo não compara bots nem autoriza concluir que liberar crawl aumenta citação; ele só mostra quais domínios foram declarados como fonte naquela amostra.
Checklist prático
- Abra
seuhotel.com.br/robots.txtno navegador. Procure porGPTBot,ClaudeBot,PerplexityBot,Google-ExtendedcomDisallow: /. Achou? É bloqueio, e provavelmente veio de template. - Se o site usa Cloudflare ou plugin de segurança, confira a configuração de bots de IA — o padrão pode ser bloquear, mesmo com robots.txt liberado.
- Rode o grep nos logs (ou peça pra agência): quais bots visitam, quais páginas, com qual código de resposta.
- 403/429 pra bot de IA? Ache a camada que barra (CDN → firewall → servidor) e libere os agentes documentados.
- Nenhum bot aparece? Verifique uptime, sitemap enviado e se o conteúdo existe no HTML (não só via JavaScript).
- Crawl liberado? Registre o baseline antes de mudar conteúdo. Os 22 sinais do Protocolo Arsenal medem prontidão técnica; descoberta, citação e referral continuam métricas separadas.
Perguntas frequentes
Liberar esses bots deixa meu site mais lento?
Não dá pra responder sem os logs do site. Compare volume, taxa, códigos de resposta e custo de origem por agente. Se houver abuso verificado, aplique limite de taxa proporcional e reavalie; não presuma impacto zero.
Com que frequência o GPTBot visita um site?
A OpenAI não publica frequência, e nenhuma das outras empresas publica. Varia por site. A resposta honesta é: rode o grep nos seus logs uma vez por mês e você terá a frequência real do seu site — que vale mais que qualquer média de terceiros.
Bloquear Google-Extended me tira do Google?
A documentação do Google diz que o token não afeta inclusão nem ranking no Google Search. Ele controla usos ligados ao Gemini. A decisão de permitir ou bloquear é de política de conteúdo; não há garantia de presença no Gemini em nenhum dos casos.
Meu site é Wix/Squarespace e não consigo editar robots.txt. E agora?
Primeiro confira o que a plataforma gera por padrão (abra /robots.txt no navegador). A maioria não bloqueia bots de IA por padrão, então você provavelmente já está liberado. O limite dessas plataformas costuma aparecer depois, no llms.txt e no Schema — detalhei as opções por plataforma no guia de llms.txt.
E se eu não quiser que IA treine com meu conteúdo, mas quiser aparecer nas buscas de IA?
Dá pra separar as classes: treino, busca/retrieval e fetch do usuário têm tokens diferentes, conforme o fornecedor. O efeito de cada regra deve ser lido na documentação atual e verificado no próprio site; permitir treino não garante que a marca passe a integrar respostas futuras.
Seu site está legível pras IAs? Descubra em 2 minutos
O Score Arsenal é gratuito: informe a URL e receba uma leitura automatizada de prontidão técnica. O Diagnóstico Estratégico (R$ 297) interpreta os 22 sinais do site e o recorte pré-coletado do destino; não executa uma nova bateria de queries por cliente.
Rodar o Score grátis →Liberar o crawl é pré-requisito, não estratégia: depois dele vem o que os bots vão encontrar. A ordem completa está em os serviços de GEO do Arsenal, degrau por degrau.