Googlebot

Der Googlebot ist der Name für die Crawler, mit denen Google das Web durchsucht. Es gibt Varianten für Smartphone und Desktop sowie für Bilder und andere Inhalte. Der Bot ruft Seiten ab, wertet den Quelltext aus und folgt den Links zu weiteren Adressen. Was er findet, wird verarbeitet und kann in den Index aufgenommen werden.

Seit Google überwiegend die mobile Version einer Seite betrachtet, ist der Smartphone-Googlebot der wichtigste, siehe Mobile-First-Indexing. Der Googlebot kann auch Seiten verarbeiten, die Inhalte erst per JavaScript erzeugen, das geschieht aber in einem separaten Schritt und kann zeitverzögert sein, siehe JavaScript-Rendering.

Woran Sie sehen, ob der Googlebot Ihre Seite erreicht:

• URL-Prüfung und Crawling-Statistiken in der Google Search Console
• Server-Protokolle mit der Kennung Googlebot
• Prüfung, ob die robots.txt wichtige Bereiche versehentlich sperrt

Wichtig ist, dass sich die Kennung fälschen lässt. Wer auf Nummer sicher gehen will, prüft Zugriffe über die von Google veröffentlichten Methoden zur Verifizierung, statt nur auf den Namen im Protokoll zu vertrauen. Viele Fehler entstehen nicht beim Bot selbst, sondern durch Sperren, Zugriffsschutz oder langsame Server. Eine technische Prüfung beginnt deshalb mit dem Blick auf das, was der Bot tatsächlich sieht.