GPTBot ist der offizielle Crawler von OpenAI. Über die robots.txt lässt sich steuern, ob er eine Website abrufen darf.
Wer GPTBot pauschal blockiert, schließt seine Inhalte als mögliche Quelle für ChatGPT aus. Neben GPTBot sind OAI-SearchBot, PerplexityBot und ClaudeBot relevante KI-Crawler.
ki-check: in 30 Sekunden sehen, ob KI-Suchen dich zitieren.