El presupuesto de rastreo es un aspecto fundamental que debes tener en cuenta para el SEO. En este artículo te explicamos los fundamentos del presupuesto de rastreo y cómo optimizarlo para sacarle el máximo partido.

¿En qué consiste el presupuesto de rastreo?

Empecemos por la definición de rastreo (crawl). El rastreo es el proceso mediante el cual los motores de búsqueda, como Google, envían sus bots (también conocidos como «spiders» o «crawlers») para encontrar y escanear el contenido de los sitios web. Esto incluye imágenes, vídeos, archivos PDF, etc.

Hay miles de millones de páginas web. Esta cifra hace que, en cierta medida, resulte inviable que Googlebot las rastree todas cada segundo, cada día. Hacerlo supondría un consumo de ancho de banda extremadamente elevado en Internet. Esto, a su vez, provocaría un rendimiento más lento de los sitios web. Para evitar esta situación, Google asigna un presupuesto de rastreo a cada sitio web. El presupuesto asignado determina el número de veces que Googlebot rastrea el sitio web en busca de páginas que indexar.

Por su parte, un Googlebot es un proxy automatizado que rastrea un sitio web en busca de páginas que deban añadirse a su índice. Actúa como un internauta digital. Saber qué es Googlebot y cómo funciona es solo un paso para ayudarte a comprender el concepto de presupuesto de rastreo en el SEO.

Cómo calcular tu presupuesto de rastreo

La mejor forma de evaluar el presupuesto de rastreo es realizar un análisis de logs. Se trata de una práctica fundamental para comprobar cómo se comporta Google en tu sitio web y en qué páginas invierte el presupuesto de rastreo.

Con un analizador de logs como FandangoSEO, podrás comprobar al instante el promedio de visitas (visitas de Googlebot) a tu sitio web por día y por hora, o evaluar cómo se distribuye tu presupuesto de rastreo entre los diferentes tipos de páginas. Asimismo, podrás ver los rastreos de los motores de búsqueda en tiempo real para confirmar si encuentran tu contenido más reciente.

¿Por qué es importante el límite de frecuencia de rastreo?

Este concepto presenta algunas diferencias con respecto al crawl budget. El límite de frecuencia de rastreo define el número de conexiones simultáneas que utiliza Googlebot para rastrear sitios web y el tiempo que transcurre antes de recabar otra página. Debes tener en cuenta que Google se centra en la experiencia del usuario. Por lo tanto, Googlebot utiliza el límite de frecuencia de rastreo. Este límite evita que los sitios web se vean saturados por los agentes automatizados hasta el punto de que a los usuarios humanos les resulte difícil cargar un sitio en sus navegadores web.

Hay algunos factores que influyen en la frecuencia de rastreo. Entre ellos se encuentran:

• Velocidad del sitio web: si los sitios web responden rápidamente a Googlebot, Google ampliará el límite de rastreo. Por el contrario, reducirá la frecuencia de rastreo de los sitios web lentos.
• Configuración en Search Console: un desarrollador o arquitecto web puede establecer los límites de rastreo a través de Search Console. Si un administrador web considera que Google está realizando un rastreo excesivo en su servidor, puede reducir la frecuencia de rastreo, pero no puede aumentarla.

Ten en cuenta que una frecuencia de rastreo adecuada puede acelerar la indexación de las páginas, pero una frecuencia de rastreo más elevada no es un factor de posicionamiento.

La demanda de rastreo

Es posible que no se alcance el límite de frecuencia de rastreo, pero la actividad de Google seguirá siendo reducida si no existe demanda de indexación. Esta reducción de la actividad de Googlebot se denomina «reducción de la demanda de rastreo». Los dos factores que determinan de manera significativa la demanda de rastreo son:

• Popularidad– Las URLs populares en Internet se rastrean con frecuencia para mantenerlas siempre actualizadas en el índice de Google.
• Antigüedad– Los sistemas de Google generalmente intentan evitar que las URLs se vuelvan obsoletas en su índice.

Además, los cambios que afectan a todo el sitio, como una migración, pueden provocar un aumento de la demanda de rastreo. Esto ocurre para volver a indexar el contenido del sitio en las nuevas URL. 

¿Qué factores influyen en el presupuesto de rastreo para el SEO?

El presupuesto de rastreo combina la demanda de rastreo y la frecuencia de rastreo. Esta combinación es lo que Google define como el número total de URL que Googlebot puede y quiere rastrear. Google ha identificado los factores exactos que afectan al presupuesto de rastreo. A continuación se muestra la lista de dichos factores: 

• Parámetros de URL: suele ocurrir que la URL base, a la que se añaden parámetros, devuelve la misma página. Este tipo de configuración puede dar lugar a que varias URL únicas se contabilicen dentro del presupuesto de rastreo, aunque dichas URL sigan devolviendo la misma página.
• Páginas de error «suaves »: estas páginas de error también influyen en el crawl budget. No obstante, también se recogen en Search Console.
• Contenido duplicado – A veces, las URLs pueden ser únicas sin parámetros de solicitud, pero aún así devuelven el mismo contenido web.
• Páginas pirateadas: los sitios web pirateados suelen tener un presupuesto de rastreo limitado.
• Contenido de baja calidad: es probable que Google limite el presupuesto de rastreo de los sitios web que presenten una calidad deficiente.
• Paginación infinita:los sitios web con enlaces ilimitados observarán que Googlebot gasta gran parte de su crawl budget en enlaces que quizá no sean importantes.

Cómo optimizar tu presupuesto de rastreo

Afortunadamente, existen unas pautas sencillas que se pueden poner en práctica para optimizar tu presupuesto de rastreo de Google. En especial, las que vamos a ver a continuación:

Comprueba que tus páginas principales sean rastreables

Es fundamental asegurarse de que los archivos .htaccess y robots.txt no bloqueen tus páginas más importantes y de que los robots no tengan problemas para acceder a los archivos CSS y JavaScript. También debes asegurarte de bloquear el contenido que no deba aparecer en los resultados de búsqueda (SERP). Te recomendamos utilizar una herramienta de SEO Crawler que te permita detectar fácilmente cualquier problema de rastreo.

Dale una estructura sencilla a tu sitio web

Tu sitio debe tener una página de inicio, categorías o etiquetas y páginas de contenido. Incluye enlaces internos para establecer una jerarquía del sitio y facilitar que los rastreadores encuentren las páginas. Nuevamente, sugerimos usar una herramienta SEO que te permita ver la estructura de tu sitio de un vistazo.

No dejes de actualizar tu sitemap XML

Actualizar el sitemap XML es esencial, ya que esto ayuda a los bots a comprender a dónde van los enlaces internos en el sitio. Esta práctica también permite que Google indexe y posicione las nuevas páginas más rápidamente.

Evita las cadenas de redireccionamiento

No es nada recomendable que tu sitio tenga redirecciones 301 y 302. Es posible que apenas notes si ocasionalmente dejas una o dos redirecciones, pero no debes dejar que el número siga creciendo.

Gestiona correctamente tus parámetros de URL

Puede que tu sistema de gestión de contenidos genere muchas URLs dinámicas que lleven a una misma página, pero los motores de búsqueda las tratarán por separado y malgastarán tu presupuesto de rastreo. Por eso, para evitar problemas de contenido duplicado, debes administrar tus parámetros de URL correctamente.

Elimina las páginas de error 404 y 410

Este tipo de páginas malgastan tu presupuesto de rastreo y, además, pueden perjudicar la experiencia del usuario. De ahí la importancia de corregir los códigos de estado 4xx y 5xx.

Mejora la velocidad de carga del sitio

La velocidad del sitio web es fundamental para mejorar el presupuesto de rastreo y para que tu página web ocupe un buen puesto en los resultados de búsqueda. Los crawlers indexan mucho más rápido aquellas páginas que se cargan con mayor rapidez. También es un factor clave para mejorar la experiencia del usuario y, por lo tanto, el posicionamiento de la página.

Utiliza los feeds a tu favor

Google dice que los feeds son una forma para que los sitios web grandes y pequeños distribuyan contenido más allá de los visitantes que recurren a los navegadores. Permiten suscripciones a actualizaciones periódicas entregadas automáticamente a través de un portal web, un lector de noticias e incluso, a veces, el correo electrónico de toda la vida.

Estos feeds son muy útiles para los rastreadores, ya que se encuentran entre los sitios más visitados por los bots de los motores de búsqueda.

Incluye enlaces internos que apunten a las páginas con menos tráfico

No hay duda de que los enlaces internos son una excelente estrategia de SEO. Mejoran la navegación, distribuyen la autoridad de la página y aumentan la participación de los usuarios. Pero también son una buena táctica para mejorar el presupuesto de rastreo, ya que los enlaces entrantes guían al crawler a medida que recorre el sitio web.

Crea enlaces externos

Los estudios han demostrado una fuerte correlación entre la cantidad de veces que las arañas pasan por un sitio web y la cantidad de enlaces salientes que contiene.

Cómo aumentar tu presupuesto de rastreo

Matt Cutts, que fue jefe del equipo de spam web de Google, explicó este tema hablando de la relación entre el crawl budget y la autoridad. Sostuvo que el número de páginas rastreadas es más o menos proporcional a su PageRank.

Como explicó Cutts, si hay muchos enlaces entrantes en la página raíz, se rastrean. Entonces, esta página raíz puede apuntar a otras, que obtendrán PageRank y también se rastrearán. Pero el PageRank disminuirá a medida que profundices en el sitio.

Bueno, aunque Google ahora publica los valores del PageRank, este parámetro sigue estando presente en los algoritmos del buscador. Hablemos de la autoridad de la página en lugar del PageRank: la conclusión es que está estrechamente relacionada con el presupuesto de rastreo.

Por lo tanto, está claro que hay que aumentar la autoridad del sitio web para conseguir un mayor presupuesto de rastreo. Esto se consigue, en gran medida, con más enlaces externos.

Tiempo de permanencia Optimización de la tasa de conversión