Crawler

Ein Crawler, auch Bot, Spider oder Robot genannt, ist eine Software, die das Web systematisch durchsucht. Sie startet bei bekannten Adressen, ruft Seiten ab, liest Inhalte und folgt den enthaltenen Links zu weiteren Seiten. Die gesammelten Daten werden anschließend ausgewertet und für die Suche oder für KI-Anwendungen aufbereitet.

Es gibt Crawler von Suchmaschinen wie der Googlebot, Crawler von KI-Anbietern wie der GPTBot sowie Crawler von Werkzeug-Herstellern, die zum Beispiel Linkdaten sammeln. Nicht jeder Bot ist willkommen. Wer seine Seite steuern will, nutzt die robots.txt, um Zugriffe zu erlauben oder auszuschließen, und ergänzt sie bei Bedarf durch serverseitige Regeln.

Wovon es abhängt, ob ein Crawler Ihre Seiten gut erfasst:

• Seiten sind über interne Links erreichbar
• Der Server antwortet zuverlässig und zügig
• Wichtige Inhalte stehen im HTML oder lassen sich per JavaScript-Rendering auslesen
• Es gibt keine unbeabsichtigten Sperren

Eine Seite, die ein Crawler nicht erreicht, kann nicht indexiert werden und taucht somit nicht in den Ergebnissen auf. Bei Problemen helfen die Berichte der Suchmaschinen-Werkzeuge und die Server-Protokolle. Eine technische Prüfung beginnt daher fast immer mit der Frage, was die Bots tatsächlich zu sehen bekommen. Bei Fragen zur Aufnahme in den Suchindex lesen Sie weiter unter Indexierung.