llms.txt erklärt — der neue Standard für AI-Bot-Konsent (mit Generator)
Wie du robots.txt für die KI-Ära weiterdenkst. Live-Generator, Praxis-Beispiele und der 5-Minuten-Setup.
Was ist llms.txt?
llms.txt ist eine Markdown-formatierte Datei im Root-Verzeichnis deiner Domain, die Large-Language-Model-Crawlern (GPTBot, PerplexityBot, ClaudeBot, Google-Extended u.a.) maschinenlesbar mitteilt, welche Inhalte deiner Seite besonders relevant sind, in welcher Reihenfolge sie priorisiert werden sollen und wie sie strukturiert sind. Der Vorschlag stammt von Jeremy Howard (Answer.AI, fast.ai) aus dem September 2024 und hat sich innerhalb eines Jahres als De-facto-Standard etabliert — Stand Mai 2026 supporten 4 der 5 großen LLM-Anbieter den Standard offiziell oder informell.
Praktisch sieht eine llms.txt so aus:
# Meine Domain
> Kurze Beschreibung der Domain in einem Satz.
## Docs
- [Getting Started](https://example.com/docs/start.md): Einstieg in 5 Minuten
- [API Reference](https://example.com/docs/api.md): Komplette API-Doku
## Optional
- [Changelog](https://example.com/changelog.md)
Der Aufbau ist bewusst minimal: H1 mit Site-Name, optionales Blockquote als Description, dann H2-Sektionen mit Links und 1-Satz-Beschreibungen. Eine optional-Sektion am Ende für nice-to-have-Inhalte, die LLMs ggf. überspringen können.
llms.txt ersetzt nicht robots.txt. Sie ist eine zusätzliche, positive Markierung — kein Zugriffs-Verbot. Beide existieren parallel und haben unterschiedliche Funktionen.
Unterschied zu robots.txt
Der Unterschied wird oft falsch verstanden, deshalb explizit:
| Aspekt | robots.txt | llms.txt |
|---|---|---|
| Zweck | Crawl-Zugriff steuern (allow/disallow) | Wichtige Inhalte priorisieren |
| Adressat | Alle Crawler (Search + AI) | Speziell LLM-Crawler |
| Format | Plain-Text-Direktiven | Markdown |
| Standard seit | 1994 (RFC 9309 seit 2022) | September 2024 (de facto) |
| Pflicht? | Nein, aber Best Practice | Nein, aber wachsend Pflicht |
| Position | Root: /robots.txt | Root: /llms.txt |
Mein Take: robots.txt ist der Türsteher („wer darf rein?"), llms.txt ist der Concierge („wo soll ich anfangen?"). Beide sind sinnvoll, beide haben eigene Logik. Wer nur eines hat, lässt Sichtbarkeit liegen.
Robots.txt sagt LLMs ob sie deine Seite lesen dürfen. Llms.txt sagt ihnen, was sie zuerst lesen sollen.
Syntax + Direktiven
Die llms.txt-Syntax ist absichtlich klein gehalten — das ist Feature, nicht Bug. Sechs Elemente reichen:
H1 (Pflicht)
Der Name deiner Domain oder deines Produkts. Genau ein H1 pro Datei.
# SEOlyzeBlockquote (empfohlen)
Eine 1-2-Satz-Beschreibung. LLMs nutzen das als Kontext für Citation-Decisions.
> SaaS-Plattform für SEO + GEO. WDF/IDF, Rank Tracking, AI Overview Monitoring.H2-Sektionen
Beliebige Anzahl. Konvention: Docs, Examples, Optional. Frei wählbar.
List-Items mit Links
Pro H2 eine Markdown-Liste. Jedes Item: - [Title](URL): Optional 1-Satz-Beschreibung.
Optional-Sektion am Ende
Eine H2 namens „Optional" — Inhalte hier dürfen Crawler bei Token-Limits überspringen. Sinnvoll für Changelogs, Blog-Archive, FAQ-Sammlungen.
Companion-Files: .md-Varianten
Best Practice (nicht Pflicht): Für jede in llms.txt verlinkte Seite eine .md-Variante bereitstellen, die clean ist (kein Sidebar, kein Cookie-Banner, keine Werbung). URL-Konvention: example.com/docs/intro → example.com/docs/intro.md. Das gibt LLMs deutlich bessere Parsing-Resultate.
Viele kopieren ihre Sitemap.xml-Inhalte 1:1 als llms.txt-Liste. Das ist nicht der Punkt. llms.txt ist kuratiert — nur deine 10–30 wichtigsten URLs, nicht alle 500 Blog-Posts.
Live-Generator
Hier ist ein simpler Generator. Trage deine Daten ein, klick „Generieren" — du bekommst eine valide llms.txt zum Kopieren in dein Root-Verzeichnis.
1) Domain eintragen. 2) Bot-Whitelisting konfigurieren (was ist in robots.txt erlaubt). 3) 3-10 wichtige URLs angeben. 4) „Generieren" klicken. 5) Output in /llms.txt auf deinem Server speichern.
Der Generator gibt dir eine valide llms.txt. Für die Bot-Allow-Direktiven musst du zusätzlich deine robots.txt anpassen — das passiert nicht in der llms.txt selbst (sie hat keine Bot-Steuerungs-Syntax). Beispiel für robots.txt:
User-agent: GPTBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /llms.txt automatisch in jedem Audit
SEOlyze checkt llms.txt-Existenz, Format-Validität und Bot-Allows als Teil jedes On-Page-Audits. Plus: Wir vergleichen deine llms.txt-URLs mit deinen tatsächlichen AIO-Citations — und zeigen, welche du ergänzen solltest.
Trial starten →Best Practices
1. Kuratiere, dupliziere nicht
Maximal 30 URLs in der llms.txt. Wenn du eine Sitemap mit 5000 Posts hast, picke die wertvollsten 20. LLM-Crawler haben Token-Limits — je länger deine llms.txt, desto höher die Chance, dass am Ende abgeschnitten wird.
2. Reihenfolge nach Importance
Die ersten 10 Links sind die wichtigsten. Pillar-Content, Definitions-Seiten, Hauptkategorien zuerst. Tools/Calculators in der Mitte. Blog-Posts und Changelog in „Optional".
3. Stelle Markdown-Versionen bereit
Für deine Top-10-URLs solltest du .md-Endpoints bauen, die clean rendern. Das ist Setup-Aufwand, aber LLMs konsumieren Markdown deutlich besser als HTML mit Sidebar/Cookie-Banner/Werbung.
4. Halte sie aktuell
Last-Updated-Datum als Kommentar reinpacken, alle 3–6 Monate refreshen. Tote URLs in der llms.txt sind ein Negativ-Signal — du wirkst wie eine schlecht gepflegte Quelle.
5. Validiere
Es gibt erste Open-Source-Validatoren (z.B. llmstxt.org). Lass deine Datei vor dem Live-Schalten validieren. Häufigster Fehler: mehrere H1s, fehlende Leerzeichen nach -, falsche URL-Encoding bei Umlauten.
Die letzte Zahl ist interessant: Unter 1% der Top-10k-Domains hat eine valide llms.txt — das ist riesiges Whitespace. Wer jetzt aufsetzt, hat einen Wettbewerbsvorteil, der in 12–18 Monaten verschwindet.
Wie prüfen ob deine llms.txt greift
Drei Wege, die in der Praxis funktionieren:
Check 1: HTTP-Test
Triviale Pflicht: curl https://deine-domain.de/llms.txt muss Status 200 und valide Markdown returnen. Klingt selbsterklärend, ist aber häufig der Bug: CDN-Caching schickt 404, weil die Datei nicht im CDN-Pfad ist.
Check 2: LLM-Direkttest
Frag ChatGPT, Perplexity und Claude direkt: „Was steht in der llms.txt von example.com?". Wenn das Modell sie nicht findet, ist sie für Citations irrelevant. Wenn es den Inhalt korrekt zusammenfasst, ist sie aktiv.
Check 3: Bot-Logs
In deinen Server-Logs nach User-Agents wie GPTBot, PerplexityBot, ClaudeBot, Google-Extended filtern. Wenn diese Bots /llms.txt nicht abrufen, hast du sie nicht erreicht. Pattern: grep -i "GPTBot\|PerplexityBot" access.log | grep "llms.txt".
10-Minuten-Aufgabe: 1) Generator oben benutzen. 2) llms.txt in dein Root hochladen. 3) robots.txt für die 4 Bots auf Allow setzen. 4) Eine Woche später Bot-Logs checken. Du brauchst kein Tool, kein Budget, kein Approval — das machst du heute Mittag.
Weiterführend: AI Overview optimieren — der komplette Guide für die Schicht über der llms.txt, und GEO Pillar Guide für den Gesamtkontext.
Häufige Fragen
Was genau ist llms.txt und wofür wird es verwendet?
llms.txt ist eine Markdown-formatierte Datei, die du im Root-Verzeichnis deiner Domain ablegst. Sie dient dazu, Large-Language-Model-Crawlern wie GPTBot oder ClaudeBot maschinenlesbar mitzuteilen, welche Inhalte deiner Webseite besonders relevant sind. Du kannst damit die Priorität und Struktur deiner wichtigsten Inhalte für diese Bots festlegen.
Worin unterscheidet sich llms.txt von der bekannten robots.txt-Datei?
Der Hauptunterschied liegt im Zweck: robots.txt steuert den allgemeinen Crawl-Zugriff und verbietet gegebenenfalls das Lesen von Inhalten. llms.txt hingegen ist eine positive Markierung, die LLM-Crawlern sagt, welche Inhalte sie zuerst und als besonders wichtig betrachten sollen. Beide Dateien existieren parallel und haben unterschiedliche Funktionen, wobei llms.txt speziell auf KI-Bots abzielt.
Welche Inhalte sollte ich in meine llms.txt-Datei aufnehmen und welche eher nicht?
Du solltest deine 10 bis 30 wichtigsten URLs aufnehmen, die du als besonders relevant für LLM-Crawler erachtest, beispielsweise Dokumentationen oder API-Referenzen. Es ist wichtig, die Inhalte zu kuratieren und nicht einfach alle URLs deiner Webseite zu listen, wie du es vielleicht bei einer Sitemap.xml tun würdest. Weniger wichtige Inhalte wie Changelogs oder Blog-Archive kannst du in einer optionalen Sektion am Ende platzieren, die Crawler bei Token-Limits überspringen dürfen.
Welche grundlegenden Syntax-Elemente muss ich beim Erstellen einer llms.txt beachten?
Eine llms.txt beginnt immer mit einem H1-Titel für den Namen deiner Domain oder deines Produkts. Optional kannst du eine kurze Beschreibung als Blockquote hinzufügen. Danach folgen H2-Sektionen, die du frei benennen kannst, beispielsweise "Docs" oder "Examples". Unter diesen Sektionen listest du deine wichtigen URLs als Markdown-Liste mit Titel und optionaler Kurzbeschreibung auf.
Was sind "Companion-Files" im Kontext von llms.txt und warum sind sie empfehlenswert?
Companion-Files sind spezielle .md-Varianten deiner in llms.txt verlinkten Seiten, die du zusätzlich bereitstellst. Diese Markdown-Dateien sollten "clean" sein, also ohne Sidebars, Cookie-Banner oder Werbung. Indem du solche bereinigten Versionen anbietest, ermöglichst du LLM-Crawlern wahrscheinlich deutlich bessere Parsing-Resultate und eine präzisere Erfassung deiner Inhalte.
Welche spezifischen LLM-Crawler erkennen und nutzen den llms.txt-Standard bereits?
Der llms.txt-Standard wird von mehreren großen LLM-Anbietern unterstützt. Dazu gehören bekannte Crawler wie GPTBot von OpenAI, PerplexityBot, ClaudeBot von Anthropic und Google-Extended. Bis Mai 2026 haben vier der fünf größten LLM-Anbieter diesen Standard offiziell oder informell implementiert.
Diesen Leitfaden als PDF mitnehmen
Kostenlos per E-Mail. Der Artikel bleibt frei lesbar — du bekommst zusätzlich die kompakte PDF-Version zum Abspeichern und Teilen.