--- title: "robots.txt para IAs: quais bots permitir e como configurar" description: "Separe busca, treinamento e acessos de usuários ao configurar robots.txt para OpenAI, Perplexity, Claude e Google. Inclui modelos de arquivo e validação." canonical: "https://tropk.ai/blog/robots-txt-para-ias-quais-bots-permitir-e-como-configurar" last_modified: "2026-10-12T16:05:25.925Z" --- # robots.txt para IAs: quais bots permitir e como configurar Separe busca, treinamento e acessos de usuários ao configurar robots.txt para OpenAI, Perplexity, Claude e Google. Inclui modelos de arquivo e validação. [Luiz Gardelin]() Publicado em 2026-04-14T12:07:36.000Z Categorias: Como fazer, Melhores práticas Configurar [robots.txt](/recursos/glossario/robots-txt) para IAs começa por distinguir três atividades: [rastreamento](/recursos/glossario/rastreamento) para busca, coleta para treinamento e acesso a uma página solicitado por uma pessoa. Elas podem usar agentes diferentes da mesma empresa, com controles e consequências diferentes. Bloquear [GPTBot](/recursos/glossario/gptbot) não é o mesmo que bloquear o [ChatGPT](/recursos/glossario/chatgpt) Search. Também não é correto tratar [ChatGPT-User](/recursos/glossario/chatgpt-user) como o [crawler](/recursos/glossario/rastreador) que decide a inclusão na busca. Este guia explica as diferenças, apresenta três modelos de configuração e mostra como verificar robots.txt, CDN e logs em conjunto. As funções dos agentes foram revisadas em **6 de outubro de 2026**, usando a documentação das próprias plataformas. Os exemplos são arquivos de texto que precisam ser adaptados ao domínio e à política de acesso do seu site. ## Pontos importantes - robots.txt declara preferências de rastreamento; privacidade exige autenticação e autorização. - OAI-SearchBot controla rastreamento para a busca do ChatGPT, enquanto GPTBot tem finalidade de treinamento. - ChatGPT-User e Perplexity-User fazem acessos solicitados por usuários, com tratamento distinto de robots.txt. - Google-Extended cobre treinamento e grounding em determinados produtos Gemini/Vertex sem controlar Google Search. - Valide os grupos específicos, os caminhos, a CDN e os logs antes de concluir que um crawler tem acesso. ## O que é robots.txt robots.txt é um arquivo de texto na raiz de uma origem, como `https://example.com/robots.txt`, que declara quais caminhos robôs compatíveis podem rastrear. Ele integra o Robots Exclusion Protocol, formalizado no [RFC 9309](https://www.rfc-editor.org/rfc/rfc9309). O protocolo é uma instrução de rastreamento, não uma barreira de segurança. Arquivos privados precisam de autenticação e autorização. Escrever um diretório em `Disallow` ainda torna o nome desse diretório público para quem ler o arquivo. Um robots.txt em um host não controla automaticamente outro subdomínio. Se `www.example.com` e `docs.example.com` têm políticas diferentes, cada origem precisa publicar e validar sua própria configuração. ### Rastreamento e indexação são coisas diferentes Uma URL bloqueada no robots.txt pode continuar conhecida por um buscador por meio de links ou de informações anteriores. O bloqueio impede o acesso ao conteúdo pelo crawler que respeita a regra; não é uma ordem universal de apagar a página dos resultados. Para solicitar a exclusão de uma página do Google Search, use mecanismos de [indexação](/recursos/glossario/indexacao) apropriados, como `noindex`, e permita que o [Googlebot](/recursos/glossario/googlebot) leia a instrução. Bloquear o acesso e adicionar `noindex` ao mesmo tempo pode impedir a leitura da própria instrução de exclusão. ## Como a sintaxe funciona Um grupo começa com uma ou mais linhas `User-agent` e segue com regras de caminho. As diretivas mais comuns são: - `User-agent`: identifica a família de robôs ou usa `*` como grupo genérico. - `Disallow`: declara caminhos que não devem ser rastreados. - `Allow`: declara caminhos permitidos, inclusive exceções dentro de um diretório mais amplo. - `Sitemap`: informa a localização de um [sitemap](/recursos/glossario/sitemap); é uma extensão amplamente utilizada, não uma permissão de acesso. Um arquivo mínimo de acesso aberto pode ser: ```text User-agent: * Allow: / Sitemap: https://example.com/sitemap.xml ``` ### A regra não é simplesmente “a última linha vence” A correspondência depende do agente e do caminho. Regras mais específicas de caminho prevalecem sobre regras mais amplas; em uma correspondência equivalente entre `Allow` e `Disallow`, a permissão prevalece. Quando há um grupo específico para o agente, não suponha que ele herda todas as restrições do grupo `*`. Por exemplo, um grupo específico com `Allow: /` pode liberar para aquele crawler um caminho que o grupo genérico bloqueia. Replique restrições necessárias em grupos específicos e teste as URLs públicas e privadas pertinentes. Caracteres como `*` e `$` são aceitos pelo protocolo para padrões de caminho. Os caminhos devem corresponder às URLs realmente utilizadas; detalhes de maiúsculas, barras e codificação podem mudar a correspondência. ### Exemplo de permissão parcial ```text User-agent: * Disallow: /area-interna/ Allow: /area-interna/apresentacao-publica/ Sitemap: https://example.com/sitemap.xml ``` O exemplo documenta que uma apresentação pública dentro de um diretório está liberada. Ele não torna o restante da área interna seguro: o servidor deve exigir autorização para entregar informação privada. ## Quais bots importam para busca, treinamento e ações de usuários | Agente ou token | Empresa | Função documentada | Como interpretar o controle | | --- | --- | --- | --- | | `OAI-SearchBot` | OpenAI | Rastreamento para recursos de busca do ChatGPT | É o controle de rastreamento e exclusão da busca descrito pela OpenAI | | `GPTBot` | OpenAI | Conteúdo que pode ser usado no treinamento de modelos generativos | Pode ser bloqueado independentemente de OAI-SearchBot | | `ChatGPT-User` | OpenAI | Acessos associados a ações de usuários do ChatGPT e GPTs | Não determina inclusão na busca; regras robots.txt podem não se aplicar | | `OAI-AdsBot` | OpenAI | Validação e análise de páginas enviadas como destino de anúncios | É uma função de anúncios, separada da busca e do treinamento | | `PerplexityBot` | Perplexity | Apresentar e vincular sites nos resultados de busca | A plataforma recomenda permitir o bot e seus IPs oficiais | | `Perplexity-User` | Perplexity | Buscar uma página por solicitação de um usuário | A documentação diz que geralmente ignora robots.txt nessa modalidade | | `ClaudeBot` | Anthropic | Coleta de conteúdo que pode contribuir para treinamento | Tem função diferente de Claude-SearchBot e Claude-User | | `Claude-SearchBot` | Anthropic | Rastrear conteúdo para melhorar resultados de busca | Restrição pode reduzir visibilidade nos resultados do Claude | | `Claude-User` | Anthropic | Recuperar páginas a pedido de um usuário | A Anthropic informa que seus bots respeitam robots.txt | | `Googlebot` | Google | Rastreamento para Google Search e seus recursos | Relevante para acesso ao conteúdo em AI Overviews e AI Mode | | `Google-Extended` | Google | Token de controle de treinamento e grounding em determinados produtos Gemini e Vertex | Não é um crawler separado e não afeta inclusão ou ranking no Google Search | Fontes: [OpenAI](https://developers.openai.com/api/docs/bots), [Perplexity](https://docs.perplexity.ai/guides/bots), [Anthropic](https://privacy.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) e [Google](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers). ### OpenAI: permitir busca sem permitir treinamento A OpenAI documenta que `OAI-SearchBot` e `GPTBot` têm configurações independentes. Você pode permitir o primeiro para busca e bloquear o segundo para sinalizar que o conteúdo não deve ser usado para treinamento. A documentação informa que sites que excluem [OAI-SearchBot](/recursos/glossario/oai-searchbot) não aparecem nas respostas de busca do ChatGPT, embora ainda possam aparecer como links de navegação. Essa distinção impede transformar um bloqueio de rastreamento em uma promessa de desaparecimento absoluto de qualquer menção. `ChatGPT-User` é usado em ações iniciadas por pessoas. Ele não é um crawler automático e não determina se uma página pode aparecer na busca. A OpenAI informa que robots.txt pode não se aplicar a esses acessos. `OAI-AdsBot` visita páginas submetidas como anúncios, avalia segurança e pode ajudar a estabelecer relevância do anúncio. Permitir esse agente não compra uma citação orgânica; restringi-lo exige considerar o funcionamento das páginas de destino enviadas ao ChatGPT Ads. ### Perplexity: bot de busca e acesso solicitado `PerplexityBot` tem função de busca e não é descrito como coletor para treinar modelos de base. `Perplexity-User` recupera páginas em resposta a uma solicitação individual. A documentação diferencia as duas modalidades e informa que o acesso solicitado geralmente ignora robots.txt. Além do arquivo, a [Perplexity](/recursos/glossario/perplexity) recomenda conferir as regras de firewall e verificar o agente com os intervalos oficiais de IP. Acessos permitidos no robots.txt podem continuar bloqueados pela infraestrutura. ### Anthropic: três agentes separados A documentação atual da Anthropic distingue `ClaudeBot`, `Claude-SearchBot` e `Claude-User`. Portanto, não é correto afirmar que bloquear [ClaudeBot](/recursos/glossario/claudebot), por si só, remove o site de toda resposta do [Claude](/recursos/glossario/claude). A Anthropic informa que seus bots respeitam robots.txt. Ela também documenta suporte a `Crawl-delay`, uma extensão não padronizada que não deve ser tratada como controle universal dos demais buscadores. ### Google-Extended não é um bloqueio do AI Overviews [Google-Extended](/recursos/glossario/google-extended) é um token para controlar se conteúdo rastreado pelo Google pode ser utilizado em treinamento de futuras gerações de [Gemini](/recursos/glossario/gemini) e em [grounding](/recursos/glossario/grounding) de produtos especificados na documentação, como Gemini Apps e determinadas funções de Vertex AI. Bloquear esse token não altera a inclusão ou o ranking no Google Search. Os recursos generativos da busca usam o ecossistema de Search, com controles de Googlebot e de apresentação de conteúdo. O [guia oficial sobre recursos de IA](https://developers.google.com/search/docs/appearance/ai-features) explica que a página precisa estar indexada e elegível a aparecer com um snippet. Não descreva Google-Extended como “apenas treinamento”: o controle atual também abrange usos de grounding fora do Google Search. ## Três modelos de robots.txt para adaptar Antes de escolher, defina a política: o objetivo é abrir conteúdo público para busca, restringir coleta para treinamento de determinadas empresas ou permitir apenas uma família de crawlers? Não existe um modelo ideal para todos os sites. ### Modelo 1: permitir rastreamento de conteúdo público ```text # Modelo ilustrativo: permite rastreamento público. User-agent: * Allow: / Sitemap: https://example.com/sitemap.xml ``` Esse arquivo expressa uma política aberta. Não garante que os robôs vão visitar ou citar o site. Caminhos que exigem login continuam protegidos pela aplicação; o arquivo não deve substituir essa proteção. ### Modelo 2: permitir busca e restringir treinamento de OpenAI e Anthropic ```text # Grupo genérico: conteúdo público pode ser rastreado. User-agent: * Allow: / # Treinamento OpenAI. User-agent: GPTBot Disallow: / # Treinamento Anthropic. User-agent: ClaudeBot Disallow: / Sitemap: https://example.com/sitemap.xml ``` O modelo permite OAI-SearchBot, [PerplexityBot](/recursos/glossario/perplexitybot) e [Claude-SearchBot](/recursos/glossario/claude-searchbot) pelo grupo genérico. Ele restringe os dois agentes de treinamento listados. Não é um bloqueio de todas as empresas, de todos os conjuntos de dados ou de todo uso de IA. Se a política também deve restringir os usos Gemini/Vertex cobertos por Google-Extended, acrescente o grupo abaixo após revisar a consequência para grounding nesses produtos. O controle não afeta Google Search: ```text User-agent: Google-Extended Disallow: / ``` Revise periodicamente a lista de agentes das empresas pertinentes. Nomes antigos ou não documentados não devem servir como prova de uma política completa de exclusão. ### Modelo 3: permitir Googlebot e restringir outros crawlers compatíveis ```text # Restrição geral de rastreamento automático. User-agent: * Disallow: / # Exceção para Googlebot. User-agent: Googlebot Allow: / Sitemap: https://example.com/sitemap.xml ``` Esse modelo é restritivo. Pode impedir rastreamento de outros buscadores e de agentes relevantes para descoberta. Ele não garante que o conteúdo só apareça no Google nem impede acessos de pessoas ou agentes que não obedecem ao arquivo. Também é necessário avaliar agentes específicos do Google, como imagens e ferramentas de inspeção, conforme a configuração e os produtos utilizados. Escolha restrições por uma decisão de negócio verificável, não como uma tentativa de “proteger tudo” sem analisar efeitos. ## Como testar a configuração 1. Abra o robots.txt de cada domínio e subdomínio relevante e verifique a resposta HTTP e o conteúdo entregue. 2. Confira os caminhos com os agentes específicos, especialmente quando existem exceções além do grupo `*`. 3. Teste páginas públicas representativas, URLs recém-alteradas e caminhos que exigem autenticação. 4. Inspecione logs do servidor e da CDN para identificar requisições, bloqueios, erros e códigos HTTP. 5. Compare o agente informado com mecanismos oficiais de verificação de origem; o texto do User-Agent pode ser imitado. 6. Verifique a indexação com as ferramentas dos buscadores e acompanhe os próximos rastreamentos. Um retorno 404 para robots.txt normalmente permite rastreamento no protocolo; erros de rede ou falhas do servidor têm tratamento distinto. Não conclua “tudo liberado” apenas porque o navegador não mostrou o arquivo. ### CDN e firewall podem bloquear antes do conteúdo Desafios de JavaScript, CAPTCHAs, bloqueios por país e limites de requisições podem impedir o acesso de um crawler legítimo. A permissão no robots.txt não cria uma exceção automática na CDN. Use as fontes oficiais de IP e as verificações recomendadas por cada empresa. As listas podem mudar. Evite copiar endereços antigos para uma exceção permanente e evite confiar apenas em um nome declarado no cabeçalho. Quando a infraestrutura permite o acesso e o crawler visita o documento, ainda falta avaliar descoberta, indexação e seleção de fonte. Um log de visita comprova a requisição observada, não uma citação futura. ## robots.txt e llms.txt são complementares? [llms.txt](/blog/llmstxt-visibilidade-ia) oferece contexto e links curados a agentes que usam o formato. Ele não concede acesso negado pelo servidor e não impõe regras de treinamento. Um documento pode estar descrito no índice e permanecer indisponível ao consumidor. [Termos de uso](/termos) e licenciamento são outra dimensão. Nenhum arquivo de rastreamento substitui uma decisão sobre autorização, direitos de uso ou confidencialidade. Se o objetivo é manter conteúdo privado, a solução deve impedir a entrega sem credenciais. ## Como acompanhar o resultado Depois de corrigir os controles, mantenha um registro da data, das regras alteradas e dos agentes afetados. Confirme acesso nos logs e indexação nas ferramentas disponíveis, e acompanhe citações em perguntas comparáveis por plataforma. Não atribua automaticamente uma mudança de visibilidade ao robots.txt. Atualizações de conteúdo, concorrentes, fontes consultadas e comportamento dos sistemas também podem alterar as respostas. A configuração correta remove barreiras de acesso; a seleção de uma página depende de critérios adicionais. ## Fontes para aprofundar - [RFC 9309: Robots Exclusion Protocol]() - [OpenAI: crawlers e agentes]() - [Perplexity: crawlers]() - [Anthropic: funções e controles dos crawlers]() - [Google: crawlers comuns e Google-Extended]() - [Google: recursos de IA e sites]() ## Perguntas frequentes ### Qual é a diferença entre GPTBot, OAI-SearchBot e ChatGPT-User? GPTBot rastreia conteúdo que pode ser usado no treinamento de modelos da OpenAI. OAI-SearchBot rastreia para os recursos de busca do ChatGPT e é o agente relevante para gerenciar esse acesso. ChatGPT-User recupera páginas em certas ações iniciadas por usuários, não determina inclusão na busca e pode não aplicar robots.txt nesses acessos. ### É possível bloquear treinamento da OpenAI sem bloquear o ChatGPT Search? Sim. A OpenAI documenta controles independentes para GPTBot e OAI-SearchBot. Um site pode restringir GPTBot no robots.txt e permitir OAI-SearchBot para rastreamento de busca. É necessário verificar também CDN e firewall; permitir rastreamento não garante que a página será citada. ### Bloquear Google-Extended remove um site do AI Overviews ou do Google Search? Não. Google-Extended controla usos de treinamento e grounding em determinados produtos Gemini e Vertex AI, sem afetar inclusão ou ranking no Google Search. O rastreamento e a apresentação de conteúdo nos recursos de IA de Search são gerenciados por controles como Googlebot e as diretivas de indexação e snippet. ### Qual é a diferença entre ClaudeBot e Claude-SearchBot? Segundo a Anthropic, ClaudeBot coleta conteúdo que pode contribuir para treinamento de modelos, enquanto Claude-SearchBot rastreia para melhorar os resultados de busca. Claude-User é um terceiro agente para recuperar páginas a pedido de usuários. Os agentes devem ser tratados separadamente ao definir permissões no robots.txt. ### robots.txt impede acesso a conteúdo privado e remove páginas de mecanismos de busca? Não. robots.txt é uma declaração de preferências para robôs compatíveis e não protege informações privadas. Conteúdo confidencial precisa de autenticação e autorização. Uma URL bloqueada pode continuar conhecida por um buscador; instruções como noindex devem ficar acessíveis ao crawler para serem processadas. ### Como verificar se bots de IA conseguem acessar um site depois de alterar robots.txt? Confira o robots.txt de cada origem, teste a correspondência de agente e caminho e examine os logs do servidor e da CDN. Verifique bloqueios de firewall, desafios e erros HTTP, usando a documentação oficial para validar a origem dos bots. Depois acompanhe indexação e citações separadamente, porque acesso observado não comprova seleção como fonte. ## Sobre o autor [Luiz Gardelin]() Luiz Gardelin é fundador da Tropk.ai e atua em GEO/AEO, visão de produto, estratégia e crescimento, ajudando marcas a entender e melhorar sua presença nas respostas de IA. --- [Todas as páginas em Markdown]()