--- title: "CCBot" description: "CCBot coleta páginas para o repositório aberto do Common Crawl. Entenda regras de acesso, verificação de origem e limites sobre reutilização dos dados." canonical: "https://tropk.ai/recursos/glossario/ccbot" last_modified: "2026-10-12T16:11:12.344Z" --- # CCBot Revisado em 2026-10-06. ## O que significa CCBot é o [rastreador](/recursos/glossario/rastreador) do Common Crawl, fundação que mantém um repositório aberto de dados coletados da web. Seu objetivo declarado é ampliar o acesso a esse material para análise e pesquisa. A identificação aparece no User-Agent das requisições. Como os dados ficam disponíveis para reutilização, a coleta não deve ser atribuída automaticamente a um único assistente ou modelo. ## Por que importa para marketing Para marketing, CCBot exige uma decisão sobre participação em um acervo aberto, além da avaliação de tráfego no próprio site. Uma visita não comprova interesse comercial nem presença em uma [resposta de IA](/recursos/glossario/resposta-de-ia). A equipe precisa entender que acesso para coleta e uso posterior por terceiros são etapas diferentes, com evidências e responsabilidades que não aparecem integralmente nos registros do servidor. ## Exemplo na prática Suponha que uma escola publique materiais didáticos e decida permitir coleta das aulas, mas excluir um diretório de rascunhos. O [robots.txt](/recursos/glossario/robots-txt) contém uma regra para CCBot que permite todo o site, incluindo os rascunhos. A equipe solicita restringir o diretório, preservando o acesso às aulas que deseja disponibilizar no acervo aberto do Common Crawl. ## Como aplicar ou verificar A responsável técnica deve conferir a regra de CCBot e o caminho dos rascunhos no robots.txt servido pelo host. Para investigar visitas reais, consulta os intervalos IP oficiais ou verifica DNS reverso e resolução de retorno conforme a documentação. O Common Crawl alerta sobre agentes que imitam seu nome e informa que o DNS reverso ainda não está disponível para IPv6. ## Distinções importantes CCBot não é um agente de busca de um produto de IA específico. Acesso permitido não garante inclusão no acervo, [indexação](/recursos/glossario/indexacao) em buscadores ou citação por modelos que reutilizem dados. A documentação ensina o bloqueio pelo token CCBot em robots.txt; uma restrição futura não comprova exclusão de capturas anteriores. Também não permite determinar qual projeto usou cada documento coletado. ## Fontes e referências - [Common Crawl - CCBot]() — Common Crawl ## Continue a leitura - [AI2Bot]() - [User agent]() - [robots.txt]() ## Sobre o autor [Vinicius Pacheco]() Responsável pelos conteúdos técnicos da Tropk, com foco em rastreamento, indexação, dados estruturados e acesso de agentes ao conteúdo. --- [Todas as páginas em Markdown]()