Crawl-Budget
Auch: Crawlbudget, Crawling-Budget, Crawl Rate
Das Crawl-Budget ist die Menge an Seiten, die Google auf einer Website in einem bestimmten Zeitraum crawlen kann und will. Es ist vor allem für sehr große Websites oder Websites mit sehr häufig wechselnden Inhalten relevant.
Was ist das Crawl-Budget?
Google beschreibt das Crawl-Budget als Zusammenspiel aus zwei Faktoren: wie viel der Server verkraftet (Crawling-Kapazität) und wie groß Googles Bedarf ist, Seiten neu abzurufen (Crawling-Bedarf). Beliebte und häufig aktualisierte Seiten werden öfter gecrawlt.
Für wen ist das Crawl-Budget relevant?
Laut Google vor allem für:
| Website-Typ | Merkmal |
|---|---|
| Sehr große Websites | über 1 Million einzelne Seiten, deren Inhalte sich etwa wöchentlich ändern |
| Mittelgroße und größere Websites | über 10.000 Seiten mit täglich wechselnden Inhalten |
| Websites mit Indexierungsproblemen | viele URLs mit dem Status „Gefunden – zurzeit nicht indexiert“ |
Für typische Unternehmenswebsites mit einigen hundert Seiten ist das Crawl-Budget in der Regel kein Thema.
Was das Crawl-Budget verschwendet
- Endlose Filter- und Sortierkombinationen in Shops,
- Weiterleitungsketten und viele 404-Fehler,
- doppelte Inhalte unter verschiedenen URLs,
- langsame Server-Antwortzeiten.
So optimieren Sie es
- Unwichtige Parameter-URLs per robots.txt vom Crawling ausschließen.
- Sitemap aktuell halten und nur indexierbare URLs aufnehmen.
- Server-Antwortzeiten verbessern.
- Wichtige Seiten intern gut verlinken.
Häufige Fragen
Wo sehe ich, wie oft Google crawlt?
Im Bericht „Crawling-Statistiken“ in den Einstellungen der Search Console.
Hilft noindex beim Crawl-Budget?
Nur begrenzt: Google muss eine Seite crawlen, um das noindex zu sehen. Für das Einsparen von Crawling ist robots.txt das passendere Mittel.