Wie Sie Ihr Crawl-Budget optimieren können

Was ist Crawl Budget?

Es gibt Milliarden von Webseiten. Diese Zahl macht es für Googlebot irgendwie unausführbar, sie jede Sekunde, jeden Tag zu durchsuchen. Dies würde zu einem extrem hohen Bandbreitenverbrauch im Internet führen. Dies würde wiederum zu langsameren Websites führen. Um diese Situation zu beseitigen, teilt Google für jede Website ein Crawl-Budget auf. Das zugewiesene Budget bestimmt die Anzahl der Durchsuchungen der Website durch Googlebot, während sie nach zu indexierenden Seiten sucht. 

Kriechgangbudget

Ein Googlebot hingegen ist ein automatisierter Proxy, der um eine Website herumkriecht, während er nach Seiten sucht, die zu seinem Index hinzugefügt werden müssen. Es ist etwas, das sich wie ein digitaler Websurfer verhält. Das Wissen über Googlebot und wie es funktioniert, ist nur ein Schritt, um Ihnen zu helfen, die Idee der Crawl-Budgets für den SEO-Prozess zu verstehen. 

 

Warum ist die Begrenzung der Schleichrate wichtig?

Dieses Konzept hat einige Unterschiede zum Crawl-Budget. Die Crawl-Ratenbegrenzung definiert die Anzahl der gleichzeitigen Verbindungen, die Googlebot zum Crawlen von Websites verwendet, und die Zeit, die benötigt wird, bevor eine andere Seite aufgerufen wird. Sie sollten beachten, dass sich Google auf die Nutzererfahrung konzentriert. Der Googlebot verwendet daher die Crawl-Ratenbegrenzung. Diese Begrenzung verhindert, dass Websites von den automatisierten Agenten so weit überlaufen werden, dass es für die menschlichen Benutzer schwierig ist, eine Website in ihren Webbrowsern zu laden. 

Einige Faktoren beeinflussen die Crawl-Rate. Einige von ihnen beinhalten:

  • Website-Geschwindigkeit - Wenn Websites schnell auf den Googlebot reagieren, dann wird Google die Crawl-Limit-Rate erweitern. Google wird dann die Crawl-Rate für andere langsame Websites reduzieren.
  • Einstellungen in der Search Console - Ein Webentwickler oder Architekt kann die Crawl-Limits über die Search Console einstellen. Wenn ein Webmaster der Meinung ist, dass Google auf seinem Server zu viel crawlt, kann er die Crawl-Rate verringern, aber nicht erhöhen.

Beachten Sie, dass eine gesunde Crawl-Rate die Seiten schneller indexieren kann, aber eine höhere Crawl-Rate ist kein Rangfaktor. 

 

Die Crawl-Forderung.

Die Crawl-Ratengrenze kann möglicherweise nicht erreicht werden, aber es wird trotzdem eine reduzierte Aktivität von Google geben, wenn die Nachfrage nach Indexierung nicht vorhanden ist. Diese Reduzierung der Aktivität durch den Googlebot wird als Reduzierung der Crawl-Nachfrage bezeichnet. Die beiden Faktoren, die die Crawlerate-Anforderung maßgeblich bestimmen, sind:

  • Popularität - Die im Internet beliebten URLs werden häufig gecrawlt, um sie im Google-Index immer auf dem neuesten Stand zu halten.
  • Staleness - Google-Systeme versuchen normalerweise zu verhindern, dass URLs in ihrem Index veraltet werden.

Darüber hinaus können standortweite Vorfälle wie z.B. Standortwechsel eine Erhöhung der Crawl-Nachfrage auslösen. Dies geschieht, um den Inhalt der Website in den neuen URLs neu zu indizieren. 

Welche Faktoren beeinflussen das Crawl-Budget für SEO?

Ein Crawl-Budget kombiniert die Crawl-Nachfrage und die Crawl-Rate. Diese Kombination ist es, was Google definiert als die Gesamtzahl der URLs, die Googlebot bereit und in der Lage ist zu crawlen. Google hat die genauen Faktoren identifiziert, die das Crawl-Budget beeinflussen. Hier ist die Liste dieser Faktoren: 

URL-Parameter - Dies ist meist der Fall, wenn die mit Parametern hinzugefügte Basis-URL die gleiche Seite zurückgibt. Diese Art der Einrichtung kann zu mehreren eindeutigen URLs führen, die zu einem Crawl-Budget führen, obwohl diese URLs immer noch die gleiche Seite zurückgeben.

Weiche Fehlerseiten - Diese Fehlerseiten haben auch Auswirkungen auf das Crawl-Budget. Sie werden aber auch in der Suchkonsole angezeigt.

Duplikate von Inhalten - Manchmal können URLs ohne Anfrageparameter eindeutig sein, aber immer noch den gleichen Webinhalt zurückgeben.

Hacked Pages - Hacked Sites haben in der Regel ihr Crawl-Budget begrenzt.

Geringe Content-Qualität - Google wird wahrscheinlich das Crawl-Budget für Websites begrenzen, die unter schlechter Qualität leiden.

Endlose Seitenumbrüche - Seiten mit grenzenlosen Links werden feststellen, dass Googlebot einen Großteil seines Crawl-Budgets für die Links ausgibt, die vielleicht nicht wichtig sind.

 

Wie Sie Ihr Crawl-Budget effektiv nutzen können.

Es gibt mehrere Möglichkeiten, wie Sie das Crawl-Budget-Know-how nutzen können, um Ihre Website entsprechend zu optimieren. Hier sind einige der Möglichkeiten, wie Sie das tun können. 

Verwenden Sie die Google Search Console
Die Google Search Console bietet Ihnen viele Informationen über die Probleme, die sich ungünstig auf Ihr Crawl-Budget auswirken könnten. Sie können die Informationen nutzen und sie für die Websites, die Sie überwachen, konfigurieren. Sie sollten dann regelmäßig mit den Tools überprüfen, ob es auf Ihren Websites Probleme gibt.

FandangoSEO
Mit FandandangoSEO können Sie vorhersehen, dass der GoogleBot andere Probleme findet, die Ihr Crawl-Budget beeinträchtigen könnten.

Stellen Sie sicher, dass Ihre Seiten crawlbar sind
Sie sollten sich von der Macht der modernen Technik nicht so weit täuschen lassen, dass es für den Googlebot schwer wird, Ihre Website zu crawlen. Führen Sie einen Projekt-Crawl mit unserem Tool durch und prüfen Sie, ob die Seiten für die Suchmaschinen-Roboter crawlbar sind.

Begrenzen Sie Umleitungen
Jeder Moment, in dem eine Seite auf Ihrer Website umgeleitet wird, verbraucht einen kleinen Teil Ihres Crawl-Budgets. Das bedeutet, wenn Sie zu viele Weiterleitungen erhalten, könnte das Ihnen zugewiesene Crawl-Budget aufgebraucht werden, noch bevor der Googlebot die Seiten crawlt, die Sie indiziert haben möchten.

Andere Möglichkeiten sind unter anderem: 

  • Eliminierung von beschädigten Links
  • Vermeidung der Verwendung von URL-Parametern.
  • Interne Verlinkung verwenden
  • Verwendung von externen Links
  • Verbesserung der Servergeschwindigkeit
  • Zwischenspeichern Ihrer Seiten
  • Optimierung der Seitenladegeschwindigkeit


Erkennen Sie all diese SEO-Probleme mit FandangoSEO

Verschwenden Sie nicht Ihr Crawl-Budget

Probieren Sie es 14 Tage lang kostenlos aus.

Voller Zugriff auf alle unsere Funktionen. Keine Verpflichtungen jeglicher Art.

Erste Schritte

Pfeil nach oben