Was ist das Crawl Budget?
Das Crawl Budget bestimmt, wie viele Seiten Googlebot pro Zeitraum crawlt — für große Websites ein entscheidender technischer SEO-Faktor.
Definition: Was ist das Crawl Budget?
Das Crawl Budget bezeichnet die Anzahl der URLs, die Googlebot innerhalb eines bestimmten Zeitraums auf einer Website crawlt. Google selbst hat diesen Begriff geprägt und er setzt sich aus zwei Faktoren zusammen: der Crawl Rate (wie schnell Googlebot crawlen darf, ohne den Server zu überlasten) und der Crawl Demand (wie viel Interesse Google an den Seiten zeigt).
Warum ist das Crawl Budget wichtig?
Für kleine Websites mit wenigen hundert Seiten ist das Crawl Budget meist kein Thema — Googlebot crawlt alle relevanten Seiten problemlos. Kritisch wird es bei:
- E-Commerce-Shops mit tausenden Produktseiten
- Websites mit vielen generierten URLs (Filter, Sorting, Pagination)
- Websites nach einem Relaunch mit vielen neuen URLs
- Nachrichtenportalen mit hoher Veröffentlichungsfrequenz
Wenn das Crawl Budget verschwendet wird, werden wichtige neue oder aktualisierte Seiten möglicherweise nicht rechtzeitig gecrawlt und indexiert.
Was verschwendet das Crawl Budget?
Typische Crawl-Budget-Fresser:
- Facettierte Navigation: Filter-URLs wie
?farbe=rot&groesse=xlkönnen Tausende Duplikate erzeugen - Session-IDs in URLs: Jede Session erzeugt eine neue URL
- Soft-404-Seiten: Seiten, die inhaltlich leer sind, aber 200 zurückgeben
- Unendliche Kalender-Links: Kalender-Widgets ohne Ende-Datum
- Orphan Pages: Verwaiste Seiten ohne Inhaltswert
Crawl Budget optimieren
Die wichtigsten Maßnahmen:
- Robots.txt nutzen: Unwichtige URL-Muster vom Crawl ausschließen
- Canonical Tags setzen: Duplikate auf die Hauptversion konsolidieren
- Noindex für Nicht-SEO-Seiten: Danke-Seiten, interne Suchen, Sortierungsseiten
- Interne Verlinkung optimieren: Wichtige Seiten häufiger verlinken
- Server-Performance verbessern: Schnellere Antwortzeiten = mehr Crawls pro Zeiteinheit
Crawl Budget überwachen
Die Google Search Console zeigt unter Crawling-Statistiken, wie viele Seiten täglich gecrawlt werden. Eine Log File Analyse gibt noch detailliertere Einblicke, welche URLs Googlebot wie häufig besucht.
Professionelle Unterstützung?
Professionelle Unterstützung?
Bereit für mehr Rankings?
Wissen ist der erste Schritt — professionelle Umsetzung der zweite.
Verwandte Artikel
Was sind Orphan Pages?
Orphan Pages sind Unterseiten, die von keiner anderen internen Seite verlinkt werden — unsichtbar für Crawler, schädlich für das Ranking.
Was ist eine Log File Analyse?
Die Log File Analyse wertet Server-Logs aus, um das Crawl-Verhalten von Googlebot zu verstehen — eine der präzisesten Methoden im technischen SEO.