Das Crawl-Budget ist ein wichtiger Aspekt, den Sie bei der Suchmaschinenoptimierung berücksichtigen müssen. Dieser Artikel erklärt die Grundlagen des Crawl-Budgets und wie man es optimiert, um das Beste daraus zu machen.
Was ist ein Krabbelbudget?
Beginnen wir mit der Definition des "Crawls". Crawl ist der Prozess, bei dem Suchmaschinen wie Google ihre Bots (auch bekannt als Spider oder Crawler) losschicken, um Website-Inhalte zu finden und zu scannen. Dazu gehören Bilder, Videos, PDFs usw.
Es gibt Billionen von Webseiten. Diese Zahl macht es für den Googlebot irgendwie unmöglich, sie jede Sekunde und jeden Tag zu crawlen. Dies würde zu einem extrem hohen Bandbreitenverbrauch im Internet führen. Dies würde wiederum dazu führen, dass die Websites langsamer werden. Um diese Situation zu vermeiden, teilt Google für jede Website ein Crawl-Budget aus. Das zugewiesene Budget bestimmt, wie oft der Googlebot die Website auf der Suche nach zu indexierenden Seiten durchkämmt.
Ein Googlebot hingegen ist ein automatisierter Proxy, der um eine Website herumkriecht, während er nach Seiten sucht, die zu seinem Index hinzugefügt werden müssen. Es ist etwas, das sich wie ein digitaler Websurfer verhält. Das Wissen über Googlebot und wie es funktioniert, ist nur ein Schritt, um Ihnen zu helfen, die Idee der Crawl-Budgets für den SEO-Prozess zu verstehen.
Wie Sie Ihr Crawl-Budget messen
Der beste Weg, das Crawl-Budget zu messen, ist eine Log-Analyse. Dies ist eine wichtige Methode, um zu sehen, wie sich Google auf Ihrer Website verhält und für welche Seiten es das Crawl-Budget ausgibt.
Mit einem Log Analyzer wie FandangoSEO können Sie sofort die durchschnittlichen Zugriffe (Googlebot-Besuche) auf Ihre Website pro Tag und Stunde überprüfen oder bewerten, wie sich Ihr Crawl-Budget auf verschiedene Seitentypen verteilt. Ebenso können Sie die Crawls der Suchmaschinen in Echtzeit verfolgen, um festzustellen, ob Ihre neuesten Inhalte gefunden werden.
Warum ist die Begrenzung der Crawl-Rate wichtig?
Dieses Konzept weist einige Unterschiede zum Crawl-Budget auf. Das Crawl-Raten-Limit definiert die Anzahl der gleichzeitigen Verbindungen, die der Googlebot zum Crawlen von Websites verwendet, und die Zeit, die er benötigt, bevor er eine weitere Seite abruft. Sie sollten beachten, dass Google sich auf das Nutzererlebnis konzentriert. Daher verwendet der Googlebot das Crawl-Raten-Limit. Dieses Limit verhindert, dass Websites von den automatisierten Agenten so überlastet werden, dass die menschlichen Nutzer Schwierigkeiten haben, eine Website in ihren Webbrowsern zu laden.
Einige Faktoren beeinflussen die Crawl-Rate. Einige von ihnen beinhalten:
- Website-Geschwindigkeit - Wenn Websites schnell auf den Googlebot reagieren, dann wird Google die Crawl-Limit-Rate erweitern. Google wird dann die Crawl-Rate für andere langsame Websites reduzieren.
- Einstellungen in der Search Console - Ein Webentwickler oder -architekt kann die Crawl-Grenzen über die Search Console festlegen. Wenn ein Webmaster der Meinung ist, dass Google auf seinem Server zu viel crawlt, kann er die Crawl-Rate verringern, aber nicht erhöhen.
Beachten Sie, dass eine gute Crawl-Rate die Indexierung der Seiten beschleunigen kann, aber eine höhere Crawl-Rate ist kein Ranking-Faktor.
Die Krabbelforderung
Die Crawl-Ratengrenze kann möglicherweise nicht erreicht werden, aber es wird trotzdem eine reduzierte Aktivität von Google geben, wenn die Nachfrage nach Indexierung nicht vorhanden ist. Diese Reduzierung der Aktivität durch den Googlebot wird als Reduzierung der Crawl-Nachfrage bezeichnet. Die beiden Faktoren, die die Crawlerate-Anforderung maßgeblich bestimmen, sind:
- Popularität -Die im Internet beliebten URLs werden häufig gecrawlt, damit sie im Google-Index immer aktuell sind.
- Staleness-Google-Systeme versuchen in der Regel zu verhindern, dass URLs in ihrem Index veralten.
Darüber hinaus können standortweite Vorfälle wie z.B. Standortwechsel eine Erhöhung der Crawl-Nachfrage auslösen. Dies geschieht, um den Inhalt der Website in den neuen URLs neu zu indizieren.
Welche Faktoren beeinflussen das Crawl-Budget für SEO?
Ein Crawl-Budget kombiniert die Crawl-Nachfrage und die Crawl-Rate. Diese Kombination ist es, was Google definiert als die Gesamtzahl der URLs, die Googlebot bereit und in der Lage ist zu crawlen. Google hat die genauen Faktoren identifiziert, die das Crawl-Budget beeinflussen. Hier ist die Liste dieser Faktoren:
- URL-Parameter - Dies ist meist der Fall, wenn die mit Parametern hinzugefügte Basis-URL die gleiche Seite zurückgibt. Diese Art der Einrichtung kann zu mehreren eindeutigen URLs führen, die zu einem Crawl-Budget führen, obwohl diese URLs immer noch die gleiche Seite zurückgeben.
- Weiche Fehlerseiten - Diese Fehlerseiten haben auch Auswirkungen auf das Crawl-Budget. Sie werden aber auch in der Suchkonsole angezeigt.
- Duplikate von Inhalten - Manchmal können URLs ohne Anfrageparameter eindeutig sein, aber immer noch den gleichen Webinhalt zurückgeben.
- Hacked Pages - Hacked Sites haben in der Regel ihr Crawl-Budget begrenzt.
- Geringe Content-Qualität - Google wird wahrscheinlich das Crawl-Budget für Websites begrenzen, die unter schlechter Qualität leiden.
- Endlose Seitenumbrüche - Seiten mit grenzenlosen Links werden feststellen, dass Googlebot einen Großteil seines Crawl-Budgets für die Links ausgibt, die vielleicht nicht wichtig sind.
Wie Sie Ihr Crawl-Budget optimieren können
Glücklicherweise gibt es einfache Richtlinien, die in die Praxis umgesetzt werden können, um Ihr Google-Crawl-Budget zu optimieren. Vor allem die, die wir unten sehen werden:
Prüfen Sie, ob Ihre Top-Seiten crawlbar sind
Es ist wichtig sicherzustellen, dass .htaccess und robots.txt Ihre wichtigsten Seiten nicht blockieren und dass Bots keine Probleme beim Zugriff auf CSS-Dateien und Javascript haben. Sie sollten auch darauf achten, Inhalte zu blockieren, die nicht in der SERP angezeigt werden sollen. Wir empfehlen die Verwendung eines SEO Crawlers, mit dem Sie Crawling-Probleme leicht erkennen können.
Geben Sie Ihrer Website eine einfache Struktur
Ihre Website sollte eine Startseite, Kategorien oder Tags und Inhaltsseiten haben. Fügen Sie interne Links ein, um eine Website-Hierarchie zu schaffen und es den Crawlern zu erleichtern, die Seiten zu finden. Auch hier empfehlen wir die Verwendung eines SEO-Tools, mit dem Sie die Struktur Ihrer Website auf einen Blick sehen können.
Hören Sie nicht auf, Ihre XML-Sitemap zu aktualisieren
DieAktualisierung der XML-Sitemap ist unerlässlich, da sie den Bots hilft zu verstehen, wohin die internen Links der Website führen. Diese Praxis ermöglicht es Google auch, neue Seiten schneller zu indexieren und zu bewerten.
Umleitungsketten vermeiden
Es ist überhaupt nicht ratsam, dass Ihre Website 301- und 302-Weiterleitungen hat. Sie werden es vielleicht kaum bemerken, wenn Sie gelegentlich ein oder zwei Weiterleitungen hinterlassen, aber Sie sollten nicht zulassen, dass die Zahl ständig steigt.
Verwalten Sie Ihre URL-Parameter richtig
Wenn Ihr Content-Management-System eine große Anzahl dynamischer URLs generiert, können diese zu einer einzigen Seite führen. Die Suchmaschinen werden sie jedoch getrennt behandeln und Ihr Crawling-Budget unnötig strapazieren. Um also Probleme mit doppelten Inhalten zu vermeiden, müssen Sie Ihre URL-Parameter richtig verwalten.
Beseitigen Sie 404- und 410-Fehlerseiten
Diese Art von Seiten vergeuden Ihr Crawl-Budget, und sie können auch die Benutzerfreundlichkeit beeinträchtigen. Daher ist es wichtig, die Statuscodes 4xx und 5xx zu korrigieren.
Verringern der Ladegeschwindigkeit der Website
Die Geschwindigkeit der Website ist von grundlegender Bedeutung, um das Crawl-Budget zu verbessern und Ihrer Website einen hohen Rang zu verschaffen. Bots crawlen viel schneller die Seiten, die schneller geladen werden. Sie ist auch ein entscheidender Faktor für die Verbesserung der Nutzererfahrung und damit für die Positionierung der Seite.
Nutzen Sie Feeds zu Ihrem Vorteil
Google sagt, dass Feeds eine Möglichkeit für große und kleine Websites sind, Inhalte über Besucher, die sich an Browser wenden, hinaus zu verbreiten. Sie ermöglichen es, regelmäßige Aktualisierungen zu abonnieren, die automatisch über ein Webportal, einen Newsreader und manchmal sogar über eine alte E-Mail zugestellt werden.
Diese Feeds sind für Crawler sehr nützlich, da sie zu den von den Suchmaschinen-Bots am häufigsten besuchten Websites gehören.
Interne Links, die auf die Seiten mit weniger Verkehr verweisen, einbeziehen
Es besteht kein Zweifel, dass die interne Verlinkung eine großartige SEO-Strategie ist. Sie verbessert die Navigation, verteilt die Autorität der Seite und erhöht die Nutzeraktivität. Aber es ist auch eine gute Taktik zur Verbesserung des Crawl-Budgets, da eingehende Links dem Crawler den Weg weisen, wenn er auf der Website navigiert.
Externe Links aufbauen
Studien haben gezeigt, dass ein starker Zusammenhang zwischen der Anzahl der Vorbeifahrten der Spider an einer Website und der Anzahl der ausgehenden Links besteht.
Wie Sie Ihr Crawl-Budget erhöhen können
Matt Cutts, der Leiter des Webspam-Teams von Google, erläuterte dieses Thema, indem er über die Beziehung zwischen Crawl-Budget und Autorität sprach. Er argumentierte, dass die Anzahl der gecrawlten Seiten mehr oder weniger proportional zu ihrem PageRank ist.
Wie Cutts erläuterte, werden viele eingehende Links auf der Stammseite gecrawlt, wenn sie von dort kommen. Dann kann diese Stammseite auf andere verweisen, die PageRank erhalten und ebenfalls gecrawlt werden. Der PageRank nimmt jedoch ab, je tiefer man in die Website eindringt.
Nun, obwohl Google die PageRank-Werte jetzt öffentlich aktualisiert, ist dieser Parameter immer noch in den Algorithmen der Suchmaschine enthalten. Sprechen wir statt über den PageRank über die Seitenautorität: Die Schlussfolgerung ist, dass sie eng mit dem Crawl-Budget verbunden ist.
Es ist also klar, dass Sie die Autorität der Website erhöhen müssen, um ein höheres Crawl-Budget zu erhalten. Dies wird weitgehend durch mehr externe Links erreicht.
