Crawl Budget

Crawl budget WordPress é a quantidade de URLs que o Googlebot rastreia em um site dentro de um período. O número resulta da combinação entre o quanto o servidor aguenta receber requisições do bot (crawl rate) e o quanto o Google considera que vale a pena rastrear (crawl demand). Para sites pequenos, o tema é irrelevante. Para sites com milhares de URLs, especialmente WooCommerce, portais de notícia e marketplaces, é fator direto de quanto e quão rápido o conteúdo aparece no índice.

O que é crawl budget

O conceito junta dois eixos: capacidade e prioridade. Capacidade é quanto o servidor responde sem atrasar ou retornar erro. Prioridade é o quanto o Google considera o conteúdo do site relevante, atualizado e útil para os usuários. O crawl budget é o produto desses dois.

Em sites com até 5 mil URLs, o orçamento costuma ser suficiente para que o Google rastreie tudo regularmente. O conceito vira problema real em sites com 50 mil, 500 mil ou milhões de páginas. WooCommerce com filtros, portais de notícia com arquivos por data e sites com tags geradas automaticamente entram nessa faixa rapidamente.

A pergunta sobre o que é crawl budget importa porque ele tem teto. Se o Googlebot gasta o dia rastreando 30 mil URLs de filtro irrelevantes, sobra menos para rastrear os 200 produtos novos do mês. O efeito é indexação atrasada, conteúdo novo demorando para aparecer no Google e perda de tráfego orgânico em janelas críticas.

O termo não está oficialmente em todas as documentações do Google, mas John Mueller e Gary Illyes confirmaram o conceito em entrevistas e episódios do Search Off the Record. Hoje, é parte do vocabulário técnico de SEO sério.

Como Google calcula crawl budget

A capacidade de rastreio é definida pelo Crawl Capacity Limit. O Googlebot ajusta dinamicamente quantas requisições simultâneas dispara, observando tempo de resposta e taxa de erro. Servidor lento ou retornando 5xx faz o bot reduzir a frequência. Servidor rápido e estável faz o bot aumentar.

A prioridade vem do Crawl Demand. URLs populares, com muitos backlinks, atualizadas com frequência e que entregam conteúdo único têm demanda alta. Páginas duplicadas, finas, com pouca demanda de busca ou raramente alteradas caem na fila de baixa prioridade. URLs que nunca recebem atualização tendem a ser rastreadas só ocasionalmente.

O orçamento rastreamento google se renova continuamente. Não é cota diária fixa: é fluxo. Você pode acompanhar o comportamento do Googlebot no relatório “Estatísticas de rastreamento” do Google Search Console, que mostra requisições totais, tempo médio de resposta e tipos de URL rastreadas.

Sinais como sitemap atualizado, internal linking saudável e arquivos sem erro 4xx/5xx aumentam a percepção de qualidade do site, o que sustenta o crawl demand alto. Sinais opostos puxam o orçamento para baixo.

Como otimizar crawl budget

O primeiro passo é mapear o que está sendo rastreado. No Search Console, abra Estatísticas de rastreamento e veja quais URLs consomem o orçamento. Em sites WooCommerce, é comum 60-80% do crawl budget ser gasto em URLs de filtros, parâmetros de ordenação e variações de paginação. É desperdício puro.

Bloqueie URLs sem valor de busca via robots.txt. Filtros de cor, tamanho, ordenação por preço e páginas internas de busca raramente precisam estar no índice. Adicionar Disallow para esses padrões redireciona o orçamento para conteúdo que importa.

Use canonical correto para variações de URL. Produto com 20 variações deve ter uma URL canônica e as demais apontando para ela. Isso evita que o bot rastreie 20 versões de praticamente a mesma página.

Mantenha sitemap XML enxuto e atualizado. Sitemap com URLs 404, com noindex ou com redirects desperdiça crawl budget seo. Inclua só URLs canônicas, indexáveis e com response 200. Plugins como Rank Math fazem isso automaticamente, mas vale auditar.

Aumente a velocidade do servidor. Quanto mais rápido o site responde, mais URLs o Googlebot consegue rastrear no mesmo período. Performance é diretamente correlacionada a crawl budget em sites grandes.

Sinais de problemas de rastreamento

O sinal mais claro vem do relatório de Indexação no Search Console. Páginas marcadas como “Descoberta, no momento não indexada” indicam que o Google sabe da URL mas optou por não gastar orçamento rastreando ainda. Em volume, é sintoma de crawl budget mal alocado.

Outro sinal é tempo entre publicação e indexação. Em site saudável, conteúdo novo aparece no índice em horas ou dias. Quando essa janela vira semanas, há gargalo de rastreamento. Verifique no Search Console se o Googlebot está visitando o site com a frequência esperada.

Servidor retornando 5xx em parte das requisições do Googlebot é problema crítico. O bot reduz a frequência automaticamente para não derrubar o servidor, e o crawl budget despenca. Acompanhe logs de servidor ou use plugins de monitoramento para detectar.

Combine análise de crawl budget com auditoria de indexação e revisão de sitemap XML para fechar o ciclo de SEO técnico em sites grandes. Esses três tópicos andam juntos.

Para sites WooCommerce e portais de conteúdo que precisam dessa otimização sem montar tudo manualmente, a FULL Services entrega o Rank Math já licenciado e pré-configurado dentro da stack profissional WordPress, com sitemap XML automatizado, regras de canonical e bloqueio de URLs irrelevantes para Googlebot. É a forma de calibrar crawl budget sem virar especialista em SEO técnico do zero.