Magazin › Glossar › robots.txt

robots.txt

In einem SatzEine Datei im Wurzelverzeichnis einer Website, die Crawlern mitteilt, welche Bereiche sie abrufen dürfen.

Die robots.txt steuert per User-Agent-Regeln, welche Bots welche Pfade crawlen dürfen.

Für GEO entscheidend: KI-Crawler nicht versehentlich aussperren. Eine zu strikte robots.txt kann Inhalte unsichtbar für ChatGPT, Perplexity und Co. machen.

Verwandte Begriffe
GPTBot KI-Crawler llms.txt
Artikel, die das erklären
📄
KI-Prompts recherchieren — wie Menschen die KI zu deinem Thema fragen
11 Min
 📄
Bestehenden Content GEO-fit machen — der Refresh-Workflow
13 Min
 📄
Fakten-Tabellen & Listen richtig einsetzen
12 Min
 📄
FAQ- & Q&A-Content für die KI-Suche
13 Min

Prüf deine KI-Sichtbarkeit

ki-check: in 30 Sekunden sehen, ob KI-Suchen dich zitieren.

ki-check starten →