¿Qué es el presupuesto de rastreo [y cómo optimizarlo]?

El presupuesto de rastreo es uno de esos términos de SEO de los que probablemente hayas oído hablar a la gente de marketing.

Sin embargo, ¿sabes lo que significa y de qué se trata?

No te preocupes, no estamos aquí para ponerte a prueba. Por el contrario, estamos aquí para ayudarlo a comprender todo sobre el presupuesto de rastreo, por qué es importante y cómo puede verificarlo y optimizarlo.

Después de todo, tienes que aprender a gatear antes de poder caminar, ¿verdad?

¿Qué es el presupuesto de rastreo?

El presupuesto de rastreo es la cantidad de páginas que Google puede rastrear en un sitio web dentro de un período de tiempo específico.

Verá, cada vez que publica una página en su sitio web, debe esperar a que Google la indexe y la clasifique, y para poder hacerlo, sus robots deben rastrearla primero.

Este proceso podría ocurrir más rápido o más lento dependiendo de circunstancias como qué tan grande es su sitio web, qué tan populares son los temas, cuánto tráfico hay en su página, etc.

Pero, ¿cómo funciona realmente el rastreo?

Vamos a averiguar.

¿Cómo funcionan los rastreadores?

Hace más de 10 años, Google se dio cuenta de que sus recursos eran limitados y solo podía encontrar un porcentaje limitado del contenido en línea interminable que se publica constantemente en línea.

Luego, en 2017, Google publicó su artículo oficial "Qué significa el presupuesto de rastreo para Googlebot", en el que explican su definición de rastreo y otros detalles pertinentes.

Aquí están los hechos esenciales:

• El rastreo es eficiente, a menos que su sitio web tenga más de unos pocos miles de URL.
• Las páginas de respuesta rápida aumentan el límite de rastreo
• Puede reducir la tasa de rastreo de su sitio web a través de Google Search Console
• Las URL populares tienden a rastrearse con más frecuencia
• Una gran cantidad de URL de bajo valor (contenido duplicado, páginas de errores leves, etc.) puede tener un impacto negativo en la indexación y el rastreo.
• El rastreo no es un factor de clasificación directo

Básicamente, para garantizar la máxima capacidad de rastreo de su sitio web, debe tener tiempos de carga rápidos, evitar contenido duplicado y de baja calidad y hacer que sus páginas sean populares.

Sin embargo, es importante tener en cuenta que la mayoría de los propietarios de sitios web no necesitan preocuparse demasiado por el presupuesto de rastreo. Son los sitios web grandes con miles de páginas, como tiendas de comercio electrónico, publicaciones digitales y blogs populares, los que deben prestar atención.

¿Por qué es importante el presupuesto de rastreo?

El presupuesto de rastreo es muy importante para sus esfuerzos de SEO, especialmente cuando tiene miles de páginas y constantemente publica muchos artículos nuevos a diario. Los bots querrán rastrear su nuevo contenido, pero también volverán a visitar simultáneamente el resto de su sitio web.

Si encuentran múltiples contratiempos y/o problemas que los confunden, se quedarán estancados desperdiciando el presupuesto de rastreo en páginas antiguas, en lugar de invertirlo en el nuevo contenido que desea que indexen. Esto puede, potencialmente, crear retrasos y temporalmente (o incluso permanentemente) hacer que sus URL no estén disponibles en los SERP.

Por ejemplo, estás publicando noticias o información que es importante para ganar visibilidad lo más rápido posible.

No querrías esperar una semana para que se indexe tu publicación, ¿verdad?

Después de todo, no puedes clasificar para un SERP si tu página no está indexada. Y supongamos que está escribiendo sobre un evento mundial que sucedió hoy, pero su página se rastrea dentro de cinco días. En ese momento, es demasiado tarde para lograr su objetivo inicial, ya que el evento ya no es tan relevante ni nuevo. Sin mencionar que muchos otros sitios web habrán escrito al respecto y se indexarán a tiempo.

No es raro que los robots de rastreo tarden hasta una semana en indexar su página, pero para ser honesto, debería tomar menos tiempo que eso.

Además, mientras tanto, continuará publicando nuevas páginas que también deben rastrearse, indexarse ​​y estar disponibles para su público objetivo de manera oportuna. Y esa es una receta para un cuello de botella de indexación.

En general, si a menudo alcanza los límites de su presupuesto de rastreo, corre el riesgo de que algunas de sus páginas se deslicen entre las grietas y no lleguen a los SERP. Como resultado, estos no se beneficiarán del tráfico orgánico y tendrán una visibilidad mucho menor que el resto de su contenido.

Y si se pregunta cómo verificar su presupuesto de rastreo, es fácil. Simplemente vaya a Google Search Console y marque Crawl → Crawl Stats.

Optimización del presupuesto de rastreo

Es importante recordar que el presupuesto de rastreo depende de tres factores principales: el tamaño del sitio web, el estado del sitio web y la popularidad del sitio web.

Esto significa que no necesita preocuparse por el desperdicio del presupuesto de rastreo si:

• Su sitio web es moderadamente pequeño, lo que significa menos de unos pocos miles de páginas.
• Su sitio web está libre de errores de código de estado y tiene la canonicalización adecuada.
• Su sitio web es popular, lo que significa que ha desarrollado seguidores en las redes sociales y otros canales para compartir su contenido y generar tráfico.

Cubrir estos criterios significa que Googlebot debería poder rastrear su sitio web de manera eficiente.

En caso de que carezca de alguno de estos tres factores, existe el riesgo de que experimente diferentes niveles de problemas de rastreo y pierda visibilidad de búsqueda orgánica para algunas de sus páginas.

Estas son algunas de las mejores prácticas de presupuesto de rastreo a seguir:

Mejore la velocidad de su sitio web

Como se mencionó anteriormente, la velocidad del sitio web y el tiempo de carga de la página podrían afectar el límite de rastreo. Un sitio web saludable y rápido significa que Googlebot puede rastrear más páginas en menos tiempo.

Por otro lado, las páginas que se cargan más lentamente reducen la velocidad de rastreo y, en un sitio web grande, esto puede generar problemas generales de indexación.

En pocas palabras, asegúrese de optimizar la velocidad de su sitio. Esto no solo hará que sea más fácil para los bots, sino que también mejorará la experiencia del usuario.

Aplicar enlace interno

El mejor de los casos es tener vínculos de retroceso que apunten a cada página de su sitio. Esta no solo es una buena práctica de SEO para atraer visitantes a su sitio y mostrar a los motores de búsqueda que su contenido es importante, sino que también atrae a Googlebot.

En pocas palabras, los backlinks son el chico dorado del SEO.

Pero este es el trato.

Además de los backlinks, a Google también le encantan los enlaces internos. Lo ayuda a descubrir todas sus páginas y comprender mejor cómo están relacionadas. Y aunque los backlinks pueden ser difíciles de conseguir, tienes control total sobre los internos y puedes agregar tantos como quieras (simplemente no te excedas).

La aplicación de esta técnica de optimización garantizará que se rastreen más páginas.

Usar arquitectura web plana

La popularidad es muy importante a los ojos de Google. Es por eso que sería beneficioso utilizar una arquitectura de sitio web plana. La arquitectura plana permite que la autoridad de enlace tenga proporciones iguales en todas sus páginas.

Ayudará a los bots a seguir cómo se conectan los enlaces en su sitio web con mayor facilidad y, además, le permitirá agrupar mejor las páginas relacionadas y obtener autoridad temática.

En la práctica, esto significa que tanto los usuarios como los motores de búsqueda pueden llegar a cualquier página de su sitio web con cuatro clics.

Evite las páginas huérfanas y el contenido duplicado

Una página huérfana es aquella que no contiene un solo enlace externo, ni interno. Esto hace que este tipo de páginas queden aisladas del resto de tu contenido y, lógicamente, también sean más difíciles de descubrir para Googlebot.

Puede evitar fácilmente las páginas huérfanas agregando al menos un enlace interno a cada artículo y página que tenga.

Administrar contenido duplicado

El contenido duplicado causa numerosos problemas. Tener varias URL con parámetros similares es confuso para los robots de rastreo. Esto hará perder el tiempo de Googlebot, ya que tendrá que averiguar qué página es la principal y cuál es una versión duplicada, y esto conducirá a un proceso de rastreo más lento.

Para sitios como plataformas de comercio electrónico, donde es común tener varias URL similares, debido a múltiples productos similares con pequeñas diferencias, como tamaño y color, asegúrese de usar etiquetas canónicas, que guiarán a Googlebot a las páginas que desea priorizar.

No permitir el rastreo de algunas páginas

Cada sitio web tiene páginas como inicio de sesión, formularios de contacto, carritos de compras, etc. Estos no necesitan rastrearse y, por encima de eso, no pueden rastrearse. Sin embargo, Google lo intentará, por lo que es una buena idea informar a los bots que deben omitirlos y ahorrar recursos.

Para realizar esta acción, utilice su archivo robots.txt para no permitir el rastreo de las páginas que desee.

Actualizar contenido antiguo y escribir contenido nuevo

¿Mencionamos que a Google le gusta el contenido nuevo? Lo hace.

Google puede incluso dejar de rastrear su página, debido al hecho de que no hubo nada nuevo allí las últimas veces que se rastreó.

Imagínese, Googlebot visita su sitio una vez cada dos días y cada vez que encuentra contenido nuevo para indexar. Entonces, de repente, por alguna razón, deja de actualizar su sitio web. Sin embargo, Googlebot continúa visitándolo con la misma frecuencia. Después de un tiempo, el bot nota que no hay contenido nuevo para indexar y, eventualmente, hace que las visitas sean menos frecuentes.

En el escenario opuesto, donde comienza a proporcionar contenido nuevo con más frecuencia, Googlebot podría comenzar a visitar su sitio web con más frecuencia.

Fuente

En general, al establecer qué páginas deben actualizarse, tenga en cuenta la relevancia: un artículo podría tener dos años y aún tener información aplicable (aunque aún debe actualizarlo). O podría ser un material de hace un mes que ya ha perdido su frescura.

Reducir las páginas de error

Este es fácil de entender.

Googlebot pierde el tiempo cuando intenta rastrear páginas con códigos de error 5xx (error del servidor), códigos de error 4xx (error no se puede encontrar), códigos de error 3xx (redireccionamientos), etc., y como resultado, esto reduce su límite de frecuencia de rastreo.

Fuente

Básicamente, cada página que da como resultado un código diferente de 200 es una pérdida de tiempo y recursos de rastreo. En la práctica, no es necesario dirigir la atención de Google a las páginas que eliminó o redirigió. En su lugar, priorice la corrección de sus URL activas.

Optimización del presupuesto de rastreo en pocas palabras

Recapitulemos los pasos para optimizar el presupuesto de rastreo de Google:

1. Acelera tu sitio web
2. Coloca enlaces internos en todas las páginas.
3. Aplicar una arquitectura de sitio web plana
4. Evita las páginas huérfanas y el contenido duplicado
5. Evitar el rastreo en ciertas páginas
6. Actualizar contenido antiguo y escribir contenido nuevo
7. Reducir las páginas de error

Consejo de bonificación

Puede verificar la frecuencia con la que se rastrea su sitio web realizando un análisis del archivo de registro. De esta manera, puede determinar si ciertas páginas se rastrean con más frecuencia que otras.

Además, un análisis del archivo de registro puede ayudarlo a comprender si hay problemas en áreas específicas del sitio web.

Además, un análisis del archivo de registro puede ayudarlo a comprender si hay problemas en áreas específicas del sitio web.

Línea de fondo

El presupuesto de rastreo es esencial para la visibilidad general de su sitio web en los motores de búsqueda. Si Googlebot no puede rastrear e indexar tus páginas, prácticamente no existes en línea.

Asegúrese de aplicar todas las técnicas de optimización del presupuesto de rastreo que discutimos en el artículo, y obtendrá las recompensas.

Google podrá encontrar e indexar su contenido más rápido y, en última instancia, su sitio web estará por delante de la competencia que falla o no implementa la optimización.

1:0 para ti! ¡Buen trabajo!