Glossar
GPTBot
GPTBot ist der Webcrawler von OpenAI, der laut Anbieter Inhalte für das Training von KI-Modellen sammelt. Die robots.txt steuert den Zugriff.
GPTBot ist die Kennung eines Crawlers von OpenAI. Nach den Angaben des Unternehmens sammelt er öffentlich zugängliche Webinhalte, die für das Training von KI-Modellen verwendet werden können. Er ist von den Bots zu unterscheiden, die für die Suchfunktion zuständig sind und Inhalte für Antworten mit Quellenlinks abrufen, siehe ChatGPT Search.
Als Website-Betreiber entscheiden Sie selbst, ob Sie diesen Zugriff erlauben. Das geschieht in der robots.txt mit einer Regel für den GPTBot. Wer ihn sperrt, verhindert laut Anbieter die Nutzung der Inhalte für das Training, nicht automatisch die Auffindbarkeit in der Suche. Welche Bots wofür zuständig sind, legt der Anbieter in seiner Dokumentation fest und kann es ändern.
Überlegungen für die Entscheidung:
- Wollen Sie, dass Ihre Inhalte zum Wissen von Modellen beitragen?
- Gibt es urheberrechtliche oder vertragliche Gründe für eine Sperre?
- Möchten Sie in KI-Antworten genannt werden und dafür Crawler zulassen?
- Wie prüfen Sie, ob die Regel wirkt?
Eine pauschale Empfehlung gibt es nicht. Mit einer Sperre verzichten Sie womöglich auf Reichweite, mit einer Freigabe geben Sie Inhalte zur Verwendung frei. Eine gute Agentur erklärt diese Abwägung, statt sie für Sie zu treffen. Das Thema gehört zu Generative Engine Optimization. Keine Rechtsberatung.
Begriffe aus diesem Text
- ChatGPT SearchChatGPT Search ist die Websuche-Funktion von ChatGPT, die aktuelle Webinhalte abruft und in Antworten mit Quellenangaben einbindet.
- robots.txtDie robots.txt ist eine Textdatei im Stammverzeichnis einer Website, die Crawlern mitteilt, welche Bereiche sie abrufen dürfen und welche nicht.
- CrawlerEin Crawler ruft Webseiten automatisch ab, folgt Links und erfasst Inhalte für Suchmaschinen oder KI-Dienste. Auch Bot, Spider oder Robot genannt.