--- title: "robots.txt" description: "robots.txt informa regras de acesso a rastreadores. Entenda suas limitações, a diferença para noindex e como separar bots de busca e de treinamento." canonical: "https://tropk.ai/recursos/glossario/robots-txt" last_modified: "2026-10-12T16:08:33.086Z" --- # robots.txt Revisado em 2026-10-06. ## O que significa robots.txt é um arquivo que publica regras de acesso para rastreadores que seguem o protocolo. Ele fica no endereço /robots.txt do host correspondente e permite indicar quais caminhos um agente pode rastrear. As regras são direcionadas por user-agent. O arquivo gerencia acesso automatizado; não é autenticação, controle de privacidade ou uma garantia de remoção de resultados. ## Por que importa para marketing Para marketing e [SEO](/recursos/glossario/seo), uma regra equivocada pode impedir acesso a páginas relevantes. Em projetos com IA, também é necessário distinguir as funções dos bots. A OpenAI separa [OAI-SearchBot](/recursos/glossario/oai-searchbot), usado em busca, de [GPTBot](/recursos/glossario/gptbot), associado a conteúdo que pode ser usado em treinamento. As configurações são independentes, e devem refletir uma decisão consciente sobre cada finalidade. ## Exemplo na prática Um site mantém Disallow: / para todos os agentes após sair do ambiente de testes. Pessoas abrem as páginas normalmente, mas rastreadores que respeitam a regra não conseguem percorrê-las. Em outro caso, bloquear GPTBot não equivale a bloquear OAI-SearchBot. Copiar uma lista de nomes sem compreender essas diferenças pode comprometer a finalidade desejada. ## Como aplicar ou verificar Leia o arquivo do host real e confira [status HTTP](/recursos/glossario/status-http), grupos e caminhos. Teste URLs importantes contra as regras efetivas e investigue também firewall e CDN. Quando houver política distinta para busca e treinamento, documente os agentes envolvidos e consulte sua documentação atual. Verifique o resultado depois da mudança, pois um arquivo salvo localmente não comprova a resposta pública. ## Distinções importantes robots.txt e [noindex](/recursos/glossario/noindex) têm papéis diferentes. Uma URL bloqueada pode ainda aparecer em resultados se for conhecida por links, sem que o conteúdo seja rastreado. Para o Google ler uma regra noindex, precisa acessar a página. Conteúdo reservado exige proteção apropriada; um caminho escrito no robots.txt continua sendo um endereço publicamente descobrível. ## Fontes e referências - [Introduction to robots.txt]() — Google Search Central - [Overview of OpenAI crawlers]() — OpenAI ## Continue a leitura - [Rastreamento]() - [llms.txt]() - [noindex]() ## Sobre o autor [Vinicius Pacheco]() Responsável pelos conteúdos técnicos da Tropk, com foco em rastreamento, indexação, dados estruturados e acesso de agentes ao conteúdo. --- [Todas as páginas em Markdown]()