Crawl-Budget

Das Crawl-Budget ist die Menge an Abrufen, die ein Crawler für eine Website zu einem bestimmten Zeitpunkt einplant. Es ergibt sich aus zwei Faktoren: wie viel Last der Server verträgt und wie interessant die Seiten für die Suchmaschine sind. Beides bestimmt, wie häufig und wie tief Ihre Seite durchsucht wird.

Für die meisten kleinen und mittleren Websites ist das Crawl-Budget kein Engpass. Relevant wird es bei sehr großen Seiten, etwa Onlineshops mit vielen Filterkombinationen, Portalen mit Millionen von Unterseiten oder Websites, die fortlaufend automatisch Adressen erzeugen. Dort kann es passieren, dass wichtige Seiten spät oder selten besucht werden, weil der Crawler Zeit an unwichtigen Adressen verliert.

Mögliche Stellschrauben:

• Unwichtige Parameter-Adressen aus dem Crawling heraushalten, etwa über die robots.txt
• Doppelte Inhalte vermeiden oder zusammenführen
• Eine saubere Sitemap mit den relevanten Adressen pflegen
• Fehlerseiten und Weiterleitungsketten abbauen
• Die Serverantwortzeit niedrig halten

Prüfen lässt sich das Verhalten über die Crawling-Statistiken der Search Console und über Server-Protokolle. Vorsicht bei Anbietern, die bei einer kleinen Unternehmensseite das Crawl-Budget als Hauptproblem darstellen: Meist liegen die Ursachen woanders, etwa bei Inhalt, Struktur oder Verlinkung.

Bei kleineren Seiten ist es meist sinnvoller, Zeit in Inhalte, Struktur und Verlinkung zu stecken, als am Crawl-Budget zu feilen. Erst bei sehr vielen Adressen und erkennbar verspäteter Erfassung lohnt die gezielte Analyse.