--- title: "Crawl-delay" description: "Crawl-delay é uma extensão de robots.txt para solicitar menor ritmo de rastreamento. Seu suporte depende do operador; o Google não interpreta esse campo." canonical: "https://tropk.ai/recursos/glossario/crawl-delay" last_modified: "2026-10-12T16:11:05.792Z" --- # Crawl-delay Revisado em 2026-10-06. ## O que significa Crawl-delay é uma extensão não padronizada de [robots.txt](/recursos/glossario/robots-txt) usada para solicitar que um [rastreador](/recursos/glossario/rastreador) reduza seu ritmo de requisições. Ela não integra as regras definidas pela RFC 9309 e seu efeito depende do operador. A Anthropic declara suporte à extensão para limitar atividade; a documentação do Google informa que esse campo não é suportado. ## Por que importa para marketing Para marketing, isso importa quando o acesso de bots aumenta a carga sobre páginas que precisam continuar disponíveis. A equipe pode pedir controle do ritmo sem presumir que todos os serviços interpretarão a mesma instrução. O objetivo deve ser definido com infraestrutura: observar a pressão sobre o servidor e preservar o acesso permitido aos conteúdos pertinentes. ## Exemplo na prática Suponha que um acervo de receitas receba visitas identificadas como [ClaudeBot](/recursos/glossario/claudebot) em intervalos curtos, junto de aumento da latência. Após confirmar a origem, infraestrutura publica Crawl-delay no grupo desse bot em robots.txt. A equipe acompanha novamente os intervalos e a latência das páginas de receitas para decidir se a medida atende à necessidade do acervo. ## Como aplicar ou verificar No acervo de receitas, confira se robots.txt está acessível no host correto e se a instrução está no grupo do rastreador pretendido. Leia a declaração atual de suporte do operador. Compare intervalos de requisições e latência antes e depois da alteração, em períodos definidos, registrando outras mudanças de carga que possam explicar os resultados. ## Distinções importantes Crawl-delay não bloqueia caminhos, não impede [indexação](/recursos/glossario/indexacao) e não impõe um limite no servidor por conta própria. Para impor restrições de tráfego, são necessários controles de infraestrutura adequados. O suporte declarado pela Anthropic não se aplica automaticamente a outros bots; acrescentar a extensão ao grupo do Google não fará seus rastreadores respeitarem um intervalo solicitado. ## Fontes e referências - [RFC 9309: Robots Exclusion Protocol]() — RFC Editor - [How Google interprets the robots.txt specification]() — Google - [Does Anthropic crawl data from the web, and how can site owners block the crawler?]() — Anthropic ## Continue a leitura - [ClaudeBot]() - [Rastreador]() - [robots.txt]() ## Sobre o autor [Vinicius Pacheco]() Responsável pelos conteúdos técnicos da Tropk, com foco em rastreamento, indexação, dados estruturados e acesso de agentes ao conteúdo. --- [Todas as páginas em Markdown]()