O que é o orçamento de rastreamento [e como otimizá-lo]?

O orçamento de rastreamento é um daqueles termos de SEO que você provavelmente já ouviu falar de pessoas de marketing.

No entanto, você sabe o que significa e do que se trata?

Não se preocupe, não estamos aqui para testá-lo. Pelo contrário, estamos aqui para ajudar você a entender tudo sobre o orçamento de rastreamento, por que ele é importante e como você pode verificá-lo e otimizá-lo.

Afinal, você tem que aprender a engatinhar antes de poder andar, certo?

O que é o orçamento de rastreamento?

O orçamento de rastreamento é o número de páginas que o Google pode rastrear em um site dentro de um período de tempo específico.

Você vê, toda vez que você publica uma página em seu site, você precisa esperar que o Google a indexe e classifique e, para poder fazer isso, seus robôs precisam rastreá-la primeiro.

Esse processo pode acontecer de forma mais rápida ou mais lenta, dependendo de circunstâncias como o tamanho do seu site, a popularidade dos tópicos, a quantidade de tráfego em sua página etc.

Mas como o rastreamento realmente funciona?

Vamos descobrir.

Como funcionam os rastreadores?

Há mais de 10 anos, o Google percebeu que tinha recursos finitos e só conseguia encontrar uma porcentagem limitada do interminável conteúdo online que está sendo constantemente publicado online.

Então, em 2017, o Google publicou seu artigo oficial “O que o orçamento de rastreamento significa para o Googlebot”, no qual eles explicam sua definição de rastreamento e outros detalhes pertinentes.

Aqui estão os fatos essenciais:

• O rastreamento é eficiente, a menos que seu site tenha mais do que alguns milhares de URLs
• As páginas de resposta rápida aumentam o limite de rastreamento
• Você pode reduzir a taxa de rastreamento do seu site por meio do Google Search Console
• URLs populares tendem a ser rastreados com mais frequência
• Uma abundância de URLs de baixo valor (conteúdo duplicado, páginas de erro soft, etc.) pode ter um impacto negativo na indexação e rastreamento
• O rastreamento não é um fator de classificação direto

Basicamente, para garantir a máxima rastreabilidade do seu site, você precisa ter tempos de carregamento rápidos, evitar conteúdo duplicado e de baixa qualidade e tornar suas páginas populares.

No entanto, é importante observar que a maioria dos proprietários de sites não precisa se preocupar muito com o orçamento de rastreamento. São grandes sites com milhares de páginas, como lojas de comércio eletrônico, publicações digitais e blogs populares, que devem prestar atenção.

Por que o orçamento de rastreamento é importante?

O orçamento de rastreamento é muito importante para seus esforços de SEO, especialmente quando você tem milhares de páginas e publica constantemente muitos novos artigos diariamente. Os bots vão querer rastrear seu novo conteúdo, mas também revisitarão simultaneamente o restante do seu site.

Se eles encontrarem vários contratempos e/ou problemas que os confundem, eles ficarão presos desperdiçando o orçamento de rastreamento em páginas antigas, em vez de investir no novo conteúdo que você deseja que eles indexem. Isso pode, potencialmente, criar atrasos e temporariamente (ou mesmo permanentemente) tornar seus URLs indisponíveis nas SERPs.

Por exemplo, você está publicando notícias ou informações importantes para ganhar visibilidade o mais rápido possível.

Você não gostaria de esperar uma semana para que seu post fosse indexado, não é mesmo?

Afinal, você não pode classificar para um SERP se sua página não estiver indexada. E digamos que você está escrevendo sobre um evento mundial que aconteceu hoje, mas sua página é rastreada em cinco dias. Nesse ponto, é tarde demais para atingir seu objetivo inicial, pois o evento não é mais tão relevante e atual. Sem mencionar que muitos outros sites escreveram sobre isso e foram indexados a tempo.

Não é incomum que os bots de rastreamento levem até uma semana para indexar sua página, mas para ser honesto, deve levar menos tempo do que isso.

Além disso, enquanto isso, você continuará publicando novas páginas que precisam ser rastreadas, indexadas e disponibilizadas para seu público-alvo em tempo hábil. E essa é uma receita para um gargalo de indexação.

Em suma, se você costuma atingir os limites do seu orçamento de rastreamento, corre o risco de algumas de suas páginas escorregarem entre as rachaduras e não chegarem aos SERPs. Como resultado, eles não se beneficiarão do tráfego orgânico e terão uma visibilidade muito menor do que o restante do seu conteúdo.

E se você está se perguntando como verificar seu orçamento de rastreamento, é fácil. Basta ir ao Google Search Console e verificar Rastreamento → Estatísticas de rastreamento.

Otimização de orçamento de rastreamento

É importante lembrar que o orçamento de rastreamento depende de três fatores principais: tamanho do site, integridade do site e popularidade do site.

Isso significa que você não precisa se preocupar com o desperdício do orçamento de rastreamento se:

• Seu site é moderadamente pequeno, o que significa menos de alguns milhares de páginas.
• Seu site está livre de erros de código de status e tem a canonização adequada.
• Seu site é popular, o que significa que você desenvolveu seguidores nas redes sociais e outros canais para compartilhar seu conteúdo e gerar tráfego.

Cobrir esses critérios significa que o Googlebot deve conseguir rastrear seu site com eficiência.

Caso você não tenha algum desses três fatores, existe o risco de ter diferentes níveis de problemas de rastreamento e perder a visibilidade da pesquisa orgânica para algumas de suas páginas.

Aqui estão algumas práticas recomendadas de rastreamento de orçamento a serem seguidas:

Melhore a velocidade do seu site

Como mencionado acima, a velocidade do site e o tempo de carregamento da página podem afetar o limite de rastreamento. Um site saudável e rápido significa que o Googlebot consegue rastrear mais páginas e em menos tempo.

Por outro lado, páginas de carregamento mais lento reduzem a taxa de rastreamento e, em um site grande, isso pode resultar em problemas gerais de indexação.

Em poucas palavras, certifique-se de otimizar a velocidade do seu site. Isso não apenas tornará mais fácil para os bots, mas também melhorará a experiência do usuário.

Aplicar links internos

O melhor cenário é ter backlinks apontando para todas as páginas do seu site. Essa não é apenas uma boa prática de SEO para atrair visitantes ao seu site e mostrar aos mecanismos de pesquisa que seu conteúdo é importante, mas também atrai o Googlebot.

Simplificando, os backlinks são o menino de ouro do SEO.

Mas aqui está o negócio.

Além dos backlinks, o Google também adora links internos. Isso ajuda a descobrir todas as suas páginas e entender melhor como elas estão relacionadas. E embora os backlinks possam ser difíceis de encontrar, você tem controle total sobre os internos e pode adicionar quantos quiser (só não exagere).

A aplicação dessa técnica de otimização garantirá que mais páginas sejam rastreadas.

Usar arquitetura de web plana

A popularidade é muito importante aos olhos do Google. É por isso que seria benéfico usar uma arquitetura de site plana. A arquitetura plana permite que a autoridade do link tenha proporções iguais em todas as suas páginas.

Isso ajudará os bots a seguir como os links em seu site são conectados com mais facilidade e, além disso, permitirá que você agrupe melhor as páginas relacionadas e obtenha autoridade tópica.

Na prática, isso significa que tanto os usuários quanto os mecanismos de pesquisa podem acessar qualquer página do seu site em quatro cliques.

Evite páginas órfãs e conteúdo duplicado

Uma página órfã é aquela que não contém um único link externo ou interno. Isso torna esses tipos de página isolados do restante do seu conteúdo e, logicamente, também são mais difíceis de serem descobertos pelo Googlebot.

Você pode facilmente evitar páginas órfãs adicionando pelo menos um link interno a cada artigo e página que você possui.

Gerenciar conteúdo duplicado

Conteúdo duplicado causa vários problemas. Ter vários URLs com parâmetros semelhantes é confuso para os bots de rastreamento. Isso desperdiçará o tempo do Googlebot, pois ele terá que descobrir qual página é a principal e qual é uma versão duplicada, e isso levará a um processo de rastreamento mais lento.

Para sites como plataformas de comércio eletrônico, onde é comum ter vários URLs semelhantes, devido a vários produtos semelhantes com pequenas diferenças, como tamanho e cor, certifique-se de usar tags canônicas, que guiarão o Googlebot para as páginas que você deseja priorizar.

Proibir o rastreamento de algumas páginas

Todo site tem páginas como login, formulários de contato, carrinhos de compras e assim por diante. Eles não precisam ser rastreados e, acima disso, não podem ser rastreados. No entanto, o Google tentará, então é uma boa ideia informar aos bots que eles devem ignorá-los e economizar recursos.

Para realizar esta ação, use seu arquivo robots.txt para impedir o rastreamento das páginas desejadas.

Atualizar conteúdo antigo e escrever novo

Nós mencionamos que o Google gosta de novos conteúdos? Sim.

O Google pode até parar de rastrear sua página, devido ao fato de que não havia nada de novo lá nas últimas vezes em que estava sendo rastreado.

Imagine que o Googlebot visite seu site uma vez a cada dois dias e sempre que encontrar um novo conteúdo para indexar. Então, de repente, por algum motivo, você para de atualizar seu site. No entanto, o Googlebot continua a visitá-lo com a mesma frequência. Depois de um tempo, o bot percebe que não há conteúdo novo para indexar e, eventualmente, torna as visitas menos frequentes.

No cenário oposto, onde você começa a fornecer conteúdo novo com mais frequência, o Googlebot pode começar a visitar seu site com mais frequência.

Fonte

Geralmente, ao estabelecer quais páginas precisam ser atualizadas, observe a relevância – um artigo pode ter dois anos e ainda ter informações aplicáveis ​​(você ainda deve atualizá-lo). Ou pode ser um material de um mês que já perdeu seu frescor.

Reduzir páginas de erro

Este é simples de entender.

O Googlebot perde tempo ao tentar rastrear páginas com códigos de erro 5xx (erro do servidor), códigos de erro 4xx (erro não encontrado), códigos de erro 3xx (redirecionamentos) etc. e, como resultado, isso reduz o limite da taxa de rastreamento.

Fonte

Basicamente, cada página que resulta em um código diferente de 200 é uma perda de tempo e recursos de rastreamento. Na prática, não há necessidade de direcionar a atenção do Google para as páginas que você excluiu ou redirecionou. Em vez disso, priorize a correção de seus URLs ativos.

Otimização de orçamento de rastreamento em poucas palavras

Vamos recapitular as etapas para otimizar o orçamento de rastreamento do Google:

1. Acelere seu site
2. Coloque links internos em todas as páginas
3. Aplique uma arquitetura de site plana
4. Evite páginas órfãs e conteúdo duplicado
5. Impedir o rastreamento em determinadas páginas
6. Atualizar conteúdo antigo e escrever novo
7. Reduza as páginas de erro

Dica de bônus

Você pode verificar a frequência com que seu site está sendo rastreado realizando uma análise do arquivo de log. Dessa forma, você pode determinar se determinadas páginas estão sendo rastreadas com mais frequência do que outras.

Além disso, uma análise do arquivo de log pode ajudá-lo a entender se há problemas em áreas específicas do site.

Além disso, uma análise do arquivo de log pode ajudá-lo a entender se há problemas em áreas específicas do site.

Resultado final

O orçamento de rastreamento é essencial para a visibilidade geral do seu site no mecanismo de pesquisa. Se o Googlebot não puder rastrear e indexar suas páginas, você praticamente não existe online.

Certifique-se de aplicar todas as técnicas de otimização de orçamento de rastreamento que discutimos no artigo e você colherá os frutos.

O Google poderá encontrar e indexar seu conteúdo mais rapidamente e, em última análise, seu site estará à frente da concorrência que falha ou negligencia a implementação da otimização.

1:0 para você! Bom trabalho!