Hoe u uw kruipbudget kunt optimaliseren

Wat is kruipbudget?

Er zijn miljarden webpagina's. Dit nummer maakt het op de een of andere manier onwerkbaar voor Googlebot om ze elke seconde, elke dag te kruipen. Dit zou leiden tot een extreem hoge hoeveelheid bandbreedte die online wordt verbruikt. Dit zou op zijn beurt leiden tot trager presterende websites. Om deze situatie te elimineren, deelt Google een crawl budget uit voor elke website. Het toegewezen budget bepaalt het aantal keren dat Googlebot de website kruipt als het zoekt naar pagina's om te indexeren. 

kruipbudget

Een Googlebot, daarentegen, is een geautomatiseerde proxy die rond een site kruipt terwijl deze zoekt naar pagina's die aan de index moeten worden toegevoegd. Het is iets dat zich gedraagt als een digitale websurfer. Het kennen van Googlebot en hoe het werkt is slechts een stap om u te helpen het idee van crawlbudgetten voor het SEO-proces te begrijpen. 

 

Waarom is de kruipsnelheidslimiet belangrijk

Dit concept heeft enkele verschillen ten opzichte van het kruipbudget. De crawl rate limit bepaalt het aantal gelijktijdige verbindingen die Googlebot gebruikt om sites te crawlen en de tijd die nodig is om een andere pagina op te halen. U moet er rekening mee houden dat Google zich richt op de gebruikerservaring. De Googlebot maakt daarom gebruik van de crawl rate limit. Deze limiet voorkomt dat sites worden overspoeld door de geautomatiseerde agenten in de mate dat de menselijke gebruikers het moeilijk vinden om een site te laden op hun webbrowser. 

Sommige factoren zullen de kruipsnelheid beïnvloeden. Sommige van hen omvatten:

  • Snelheid van de website - Als websites snel reageren op Googlebot, dan verlengt Google de crawl-limiet. Google zal dan de crawl-limiet voor andere trage websites verlagen.
  • Instellingen in de zoekconsole - Een webontwikkelaar of architect kan de crawl-limieten via de zoekconsole instellen. Als een webmaster denkt dat Google te veel crawlt op zijn server, kan hij de crawlsnelheid verlagen, maar niet verhogen.

Merk op dat een gezonde crawl rate de pagina's sneller geïndexeerd kan krijgen, maar een hogere crawl rate is geen rangschikkingsfactor. 

 

De Crawl-vraag.

De kruipsnelheidslimiet kan niet worden bereikt, maar er zal nog steeds verminderde activiteit van Google zijn als de vraag naar indexering niet aanwezig is. Deze vermindering van de activiteit van de Googlebot wordt de vermindering van de crawlvraag genoemd. De twee factoren die de vraag naar kruipsnelheid aanzienlijk bepalen zijn:

  • Populariteit - De URL's die populair zijn op het internet worden vaak gekropen om ze altijd vers in de Google-index te houden.
  • Staleness - Google-systemen proberen meestal te voorkomen dat URL's muf worden in de index.

Bovendien kunnen incidenten op locatie, zoals verhuizingen, een toename van de kruipvraag veroorzaken. Dit gebeurt om de inhoud van de site opnieuw te indexeren in de nieuwe URL's. 

Welke factoren beïnvloeden het kruipbudget voor SEO?

Een kruipbudget combineert de kruipvraag en de kruipsnelheid. Deze combinatie is wat Google definieert als het totale aantal URL's dat Googlebot wil en kan crawlen. Google heeft de exacte factoren geïdentificeerd die van invloed zijn op het kruipbudget. Hier is de lijst van die factoren: 

URL parameters - Dit is meestal het geval dat de basis-URL die met parameters is toegevoegd, dezelfde pagina weergeeft. Een dergelijke opstelling kan leiden tot meerdere unieke URL's die meetellen voor een crawlbudget, ook al komen die URL's nog steeds op dezelfde pagina terug.

Zachte foutpagina's - Deze foutpagina's hebben ook een impact op het crawlbudget. Ze worden echter ook gerapporteerd in Search Console.

Duplicaatinhoud - Soms kunnen URL's uniek zijn zonder aanvraagparameters, maar toch dezelfde webinhoud retourneren.

Gehackte pagina's - Gehackte sites hebben meestal een beperkt crawlbudget.

Inhoud van lage kwaliteit - Google zal waarschijnlijk het crawlbudget beperken voor sites die te lijden hebben van slechte kwaliteit.

Eindeloze paginering - Sites met grenzeloze links zullen merken dat Googlebot een groot deel van zijn crawl budget besteedt aan de links die misschien niet belangrijk zijn.

 

Hoe u effectief uw kruipbudget kunt gebruiken.

Er zijn verschillende manieren waarop u de crawl budget knowhow kunt gebruiken om uw site te optimaliseren. Hier zijn enkele van de manieren waarop je dat kunt doen. 

Gebruik Google Search Console
Google Search Console biedt u veel informatie over de problemen die uw crawlbudget ongunstig kunnen beïnvloeden. U kunt de informatie gebruiken en configureren voor de sites die u in de gaten houdt. U moet dan regelmatig met de tools controleren of uw websites problemen ondervinden.

FandangoSEO
Met FandangoSEO kunt u anticiperen op andere problemen die uw crawlbudget kunnen beïnvloeden.

Zorg ervoor dat uw pagina's kruipbaar zijn
U moet zich niet laten verleiden door de kracht van de moderne technologie tot het punt dat het voor Googlebot moeilijk wordt om uw website te kruipen. Doe een projectcrawl met onze tool en controleer of de pagina's crawlable zijn voor de zoekmachinerobots.

Beperk Redirects
Elk moment dat een pagina op uw site wordt doorverwezen, gebruikt deze een klein deel van uw crawlbudget. Dit betekent dat als u te veel redirects krijgt, het crawlbudget dat aan u is toegewezen, al uitgeput kan raken voordat Googlebot de pagina's crawlt die u nodig hebt om te worden geïndexeerd.

Andere manieren zijn: 

  • Het elimineren van verbroken verbindingen
  • Vermijden van het gebruik van URL-parameters.
  • Gebruik van interne koppeling
  • Gebruik van externe koppeling
  • Het verbeteren van de snelheid van uw server
  • Caching van uw pagina's
  • Optimalisatie van de laadsnelheid van de pagina's


Detecteer al deze SEO problemen met FandangoSEO

Verspil je kruip budget niet

Probeer het 14 dagen gratis uit.

Volledige toegang tot al onze functies. Geen enkele verplichting.

Aan de slag

Pijl omhoog