Glossar
PerplexityBot
PerplexityBot ist der Crawler von Perplexity, einer KI-Suchmaschine. Er erfasst Webseiten, damit Antworten auf Quellen verlinken können.
PerplexityBot ist die Kennung eines Crawlers des Anbieters Perplexity, der eine KI-gestützte Antwortmaschine betreibt. Nach den Angaben des Unternehmens dient der Bot dazu, Webseiten für die Suchfunktion aufzufinden und zu indexieren, damit Antworten auf passende Quellen verweisen können. Er ist nach dieser Darstellung nicht dafür gedacht, Inhalte für das Training von Modellen zu sammeln.
Wie bei anderen Crawlern können Sie über die robots.txt festlegen, ob der Bot Ihre Seiten abrufen darf. Wer ihn zulässt, schafft die Voraussetzung dafür, dass Inhalte in solchen Antworten auftauchen können. Eine Zusage dafür gibt es nicht. Es gibt außerdem Berichte darüber, dass sich Dienste nicht immer an Sperren halten. Prüfen Sie deshalb gegebenenfalls zusätzlich die Zugriffe in den Server-Protokollen.
Wann sich eine Entscheidung lohnt:
- Wenn Ihre Zielgruppe KI-Suchen nutzt und Sie dort sichtbar sein möchten
- Wenn Sie Inhalte schützen müssen, die nicht öffentlich verarbeitet werden sollen
- Wenn Sie wissen wollen, welche Bots Ihre Seite belasten
Eine pauschale Antwort gibt es nicht. Maßgeblich ist die aktuelle Dokumentation des Anbieters, die sich ändern kann. Eine gute Agentur dokumentiert Freigaben und Sperren und begründet sie. Ähnliche Bots sind der GPTBot und Claude-SearchBot. Das Gesamtbild beschreibt Generative Engine Optimization.
Begriffe aus diesem Text
- CrawlerEin Crawler ruft Webseiten automatisch ab, folgt Links und erfasst Inhalte für Suchmaschinen oder KI-Dienste. Auch Bot, Spider oder Robot genannt.
- robots.txtDie robots.txt ist eine Textdatei im Stammverzeichnis einer Website, die Crawlern mitteilt, welche Bereiche sie abrufen dürfen und welche nicht.
- GPTBotGPTBot ist der Webcrawler von OpenAI, der laut Anbieter Inhalte für das Training von KI-Modellen sammelt. Die robots.txt steuert den Zugriff.