El crawl budget es un aspecto crucial que debes tener en cuenta para SEO. Este artículo explica los fundamentos del crawl budget y cómo optimizarlo para sacarle el máximo partido.
Tabla de contenidos
¿Cuál es el presupuesto para el rastreo?
Comencemos con la definición de rastreo o Crawl. El Crawl es el proceso por el cual los motores de búsqueda como Google envían sus bots (también conocidos como arañas o crawlers) para encontrar y escanear el contenido del sitio web. Esto incluye imágenes, vídeos, PDFs, etc.
Hay miles de millones de páginas web. Este número hace que, de alguna manera, sea inviable que Googlebot las rastree cada segundo, cada día. Hacerlo llevaría a una cantidad extremadamente alta de ancho de banda consumido en línea. Esto, a su vez, llevaría a que los sitios web tuvieran un rendimiento más lento. Para eliminar esta situación, Google asigna un presupuesto de rastreo a cada sitio web. El presupuesto asignado determina el número de veces que Googlebot rastrea el sitio web en busca de páginas para indexar.
Por otro lado, Googlebot es un proxy automatizado que rastrea un sitio en busca de páginas que deban añadirse a su índice. Es algo que actúa como un internauta digital. Conocer Googlebot y cómo funciona es sólo un paso para ayudarle a entender la idea de los presupuestos de rastreo para el proceso SEO .
Cómo medir su presupuesto de rastreo
La mejor manera de medir el crawl budget es realizando un análisis de registros. Esta es una práctica vital para ver cómo se comporta Google en su sitio web y en qué páginas gasta el crawl budget.
Con una herramienta Log Analyzer como FandangoSEO, podrá comprobar al instante el promedio de visitas (visitas de Googlebot) a su sitio por día y hora o evaluar cómo se distribuye su presupuesto de rastreo entre los distintos tipos de páginas. Asimismo, podrá ver los rastreos del motor de búsqueda en tiempo real para confirmar si se encuentra su contenido más reciente.
¿Por qué es importante el límite de velocidad de rastreo?
Este concepto tiene algunas diferencias en comparación con el crawl budget. El límite de la tasa de rastreo define el número de conexiones simultáneas que Googlebot utiliza para rastrear sitios y el tiempo que tarda en buscar otra página. Debe tener en cuenta que Google se centra en la experiencia del usuario. Por lo tanto, Googlebot utiliza el límite de velocidad de rastreo. Este límite evita que los sitios sean invadidos por los agentes automatizados hasta el punto de que los usuarios humanos tengan dificultades para cargar un sitio en sus navegadores web.
Algunos factores afectarán a la velocidad de rastreo. Algunos de ellos incluyen:
- Velocidad del sitio web - Si los sitios web responden rápidamente a Googlebot, entonces Google extenderá la tasa límite de rastreo. Google reducirá entonces la tasa de rastreo para otros sitios web lentos.
- Configuración en Search Con sole: un desarrollador o arquitecto web puede establecer los límites de rastreo a través de Search Console. Si un webmaster cree que Google está rastreando en exceso su servidor, puede reducir la tasa de rastreo, pero no puede aumentarla.
Tenga en cuenta que una tasa de rastreo saludable puede hacer que las páginas se indexen más rápido, pero una tasa de rastreo más alta no es un factor de clasificación.
La demanda de arrastre
Es posible que no se alcance el límite de velocidad de rastreo, pero seguirá habiendo una reducción de la actividad de Google si no existe la demanda de indexación. Esta reducción de la actividad de Googlebot se denomina reducción de la demanda de rastreo. Los dos factores que determinan significativamente la demanda de la tasa de rastreo son:
- Popularidad-Las URLs que son populares en Internet son rastreadas frecuentemente para mantenerlas siempre frescas en el índice de Google.
- Estanqueidad-Los sistemas de Google suelen intentar evitar que las URLs queden estancadas en su índice.
Además, los incidentes en todo el sitio, como los traslados del sitio, pueden activar un aumento en la demanda de rastreo. Esto ocurre cuando se reindexa el contenido del sitio en las nuevas URL.
¿Qué factores influyen en el presupuesto para gatear de SEO?
Un presupuesto de rastreo combina la demanda de rastreo y la tasa de rastreo. Esta combinación es lo que Google define como el número total de URLs que Googlebot está dispuesto a rastrear y es capaz de hacerlo. Google ha identificado los factores exactos que afectan al presupuesto de rastreo. Aquí está la lista de esos factores:
- Parámetros de URL - Esto es principalmente el caso de que la URL base añadida con parámetros devuelve la misma página. Este tipo de configuración puede llevar a que varias URLs únicas cuenten para un presupuesto de rastreo, aunque esas URLs sigan devolviendo la misma página.
- Páginas de error blandas - Estas páginas de error también tienen un impacto en el presupuesto de rastreo. Sin embargo, también se reportan en la Consola de Búsqueda.
- Contenido duplicado - A veces, las URLs pueden ser únicas sin parámetros de solicitud, pero aún así devuelven el mismo contenido web.
- Páginas hackeadas - Los sitios hackeados por lo general tienen su presupuesto de rastreo limitado.
- Contenido de baja calidad: es probable que Google limite el presupuesto de rastreo para los sitios que sufren de mala calidad.
- Paginación sin fin: los sitios con enlaces ilimitados encontrarán que Googlebot gasta gran parte de su presupuesto de rastreo en los enlaces que pueden no ser importantes.
Cómo optimizar su presupuesto de rastreo
Afortunadamente, hay pautas sencillas que se pueden poner en práctica para optimizar el presupuesto de rastreo de Google. Especialmente las que vamos a ver a continuación:
Compruebe que sus páginas principales son rastreables
Es vital asegurarse de que .htaccess y robots.txt no bloquean sus páginas más importantes y de que los robots no tienen problemas para acceder a los archivos CSS y Javascript. También debe ocuparse de bloquear el contenido que no debe mostrarse en las SERP. Le recomendamos que utilice un SEO Crawler que le permita detectar fácilmente cualquier problema de rastreo.
Dé una estructura sencilla a su sitio web
Su sitio debe tener una página de inicio, categorías o etiquetas y páginas de contenido. Incluya enlaces internos para establecer una jerarquía del sitio y facilitar que los rastreadores encuentren las páginas. Una vez más, le sugerimos que utilice una herramienta de SEO que le permita ver la estructura de su sitio de un vistazo.
No deje de actualizar su mapa del sitio XML
Laactualización del mapa del sitio XML es esencial, ya que ayuda a los bots a entender a dónde van los enlaces internos del sitio. Esta práctica también permite a Google indexar y clasificar las nuevas páginas más rápidamente.
Evita las cadenas de redirección
No es en absoluto recomendable que su sitio tenga redirecciones 301 y 302. Es posible que apenas se note si de vez en cuando deja una o dos redirecciones, pero no debe dejar que el número siga creciendo.
Gestione correctamente los parámetros de su URL
En el caso de que su sistema de gestión de contenidos genere un gran número de URLs dinámicas, éstas podrían conducir a una única página. Pero los motores de búsqueda las tratarán por separado, gastando innecesariamente su presupuesto de rastreo. Así que, para evitar problemas de contenido duplicado, debes gestionar adecuadamente los parámetros de las URL.
Eliminar las páginas de error 404 y 410
Este tipo de páginas malgastan su presupuesto de rastreo, y también pueden dañar la experiencia del usuario. De ahí la importancia de corregir los códigos de estado 4xx y 5xx.
Reducir la velocidad de carga del sitio
La velocidad del sitio es de fundamental importancia para mejorar el crawl budget y hacer que su sitio web se posicione alto. Los robots rastrean mucho más rápido aquellas páginas que se cargan más rápidamente. También es un factor crítico para mejorar la experiencia del usuario y, por tanto, el posicionamiento de la página.
Utiliza los feeds en tu beneficio
Google dice que los feeds son una forma de que los sitios web grandes y pequeños distribuyan contenidos más allá de los visitantes que acuden a los navegadores. Permiten suscribirse a actualizaciones periódicas que se entregan automáticamente a través de un portal web, un lector de noticias y, a veces, incluso un correo electrónico antiguo.
Estos feeds son muy útiles para los rastreadores, ya que se encuentran entre los sitios más visitados por los bots de los motores de búsqueda.
Incluir enlaces internos que apunten a las páginas con menos tráfico
No hay duda de que los enlaces internos son una gran estrategia SEO . Mejora la navegación, distribuye la autoridad de la página y aumenta el compromiso del usuario. Pero también es una buena táctica para mejorar el crawl budget, ya que los enlaces entrantes marcan el camino de crawler a medida que navega por el sitio.
Construir enlaces externos
Los estudios han demostrado una fuerte correlación entre el número de veces que las arañas pasan por un sitio web y el número de enlaces salientes que contiene.
Cómo aumentar el presupuesto para el rastreo
Matt Cutts, que fue jefe del equipo de Spam Web de Google, explicó este tema hablando de la relación entre el crawl budget y la autoridad. Argumentó que el número de páginas rastreadas es más o menos proporcional a su PageRank.
Como explicó Cutts, si hay muchos enlaces entrantes en la página raíz, se rastrean. Entonces esta página raíz puede apuntar a otras, que obtendrán PageRank, y también serán rastreadas. Pero el PageRank disminuirá a medida que se profundice en el sitio.
Pues bien, aunque ahora Google actualiza públicamente los valores del PageRank, este parámetro sigue estando presente en los algoritmos del buscador. Hablemos de la autoridad de la página en lugar del PageRank: la conclusión es que está estrechamente relacionada con el crawl budget.
Por lo tanto, está claro que hay que aumentar la autoridad del sitio para obtener un mayor crawl budget. Esto se consigue en gran medida con más enlaces externos.
