Kurze Antwort
Müssen KI-Agenten robots.txt befolgen?
Das hängt vom Anbieter ab. robots.txt ist ein freiwilliger Standard (RFC 9309, September 2022). Crawler, die Indizes aufbauen, befolgen ihn im Allgemeinen; bei Abrufen, die ein Benutzer auslöst, sagt OpenAI, dass seine Regeln möglicherweise nicht gelten, Google und Perplexity sagen, dass ihre Fetcher ihn im Allgemeinen ignorieren, und Anthropic sagt, dass seine Bots ihn respektieren. WebReaderAPI befolgt robots.txt bei jedem Lesevorgang, ohne KYC und mit Krypto bezahlen.
robots.txt und KI im Oktober 2026
| Standard | RFC 9309, Robots Exclusion Protocol, September 2022 |
|---|---|
| OpenAI ChatGPT-User | robots.txt-Regeln „gelten möglicherweise nicht“ für benutzerinitiierte Aktionen |
| Anthropic (inkl. Claude-User) | Gibt an, dass seine Bots robots.txt-Direktiven einhalten, einschließlich Crawl-delay |
| Google-Fetcher, die durch Nutzer ausgelöst werden | "Ignoriert im Allgemeinen robots.txt-Regeln" (Seite aktualisiert am 2026-08-19) |
| Perplexity-User | "Ignoriert im Allgemeinen robots.txt-Regeln" |
| Content Signals | Cloudflare-Richtlinie vom 24. September 2025: search, ai-input, ai-train |
| IETF AI preferences | Drafts der Arbeitsgruppe, noch kein RFC |
| WebReaderAPI | Folgt bei jedem Abruf robots.txt und ai-input=no; Token WebReaderAPI |
Was macht robots.txt eigentlich?
Die Datei teilt automatisierten Clients mit, welche Pfade eine Website lieber übersprungen sähe. Sie liegt im Wurzelverzeichnis eines Hosts, gruppiert Regeln nach User-Agent-Token und verwendet Allow- und Disallow-Zeilen. RFC 9309, veröffentlicht im September 2022, hat die langjährige Konvention zum Standard gemacht.
Der RFC stellt ausdrücklich klar, dass die Datei nichts sperrt: "These rules are not a form of access authorization." Die Einhaltung ist freiwillig. Deshalb zählt die erklärte Richtlinie jedes Anbieters, und deshalb setzen Websites, die harte Grenzen wollen, zusätzlich auf Firewalls und Bot-Management.
Warum unterscheiden sich Crawler und nutzerausgelöste Fetcher?
Ein Crawler entscheidet selbst, welche Seiten er besucht; ein nutzerausgelöster Fetcher besucht eine Seite, weil eine Person es verlangt hat. Viele Anbieter behandeln den zweiten Fall wie einen Browser, der für seinen Nutzer handelt, und erklären, robots.txt gelte nicht vollständig.
| Fetcher | Erklärte Richtlinie (gelesen am 2026-10-22) |
|---|---|
| OpenAI ChatGPT-User | robots.txt-Regeln "may not apply" für nutzerinitiierte Aktionen; Websites werden für den Such-Opt-out auf OAI-SearchBot verwiesen |
| Anthropic Claude-User | Anthropic gibt an, dass seine Bots robots.txt-Direktiven respektieren; das Blockieren von Claude-User stoppt den Abruf für Nutzeranfragen |
| Google-Fetcher, die durch Nutzer ausgelöst werden | "Generally ignore robots.txt rules", weil ein Nutzer den Abruf angefordert hat |
| Perplexity-User | "Generally ignores robots.txt rules" aus demselben Grund |
| MCP-Referenz-Fetch-Server | Befolgt robots.txt bei modellinitiierten Abrufen standardmäßig, bei nutzerinitiierten nicht |
Die Unterscheidung ist real und dokumentiert. Wenn Sie einen Agenten bauen, entscheiden Sie, auf welcher Seite Sie stehen, und sagen Sie es in Ihrem User-Agent und Ihrer Dokumentation.
Was sind Content Signals, aipref und RSL?
Das sind neuere Wege, auszudrücken, was KI-Systeme mit Inhalten tun dürfen – nicht nur, ob ein Roboter sie abrufen darf.
- Content Signals. Cloudflare hat diese Richtlinie am 24. September 2025 veröffentlicht. Eine robots.txt kann
search,ai-input(Nutzung als Eingabe für eine KI-Antwort, etwa als Grounding) undai-trainangeben. Cloudflares verwaltete robots.txt liefert standardmäßigsearch=yes, ai-train=no. - IETF AI preferences (aipref). Die Vokabular- und Anhang-Drafts der Arbeitsgruppe waren im Oktober 2026 noch Internet-Drafts, gedacht als Proposed Standards.
- Web Bot Auth. Ein Weg für Bots, ihre Requests zu signieren; die IETF-Arbeitsgruppe hat ihren Protokoll-Draft am 1. September 2026 angenommen.
- RSL (Really Simple Licensing). Laut eigener Website ist die RSL-1.0-Spezifikation verfügbar; sie erlaubt Publishern, Lizenzbedingungen – einschließlich Pay-per-Crawl – über robots.txt, Header oder RSS anzugeben.
Ist llms.txt dasselbe wie robots.txt?
Nein. robots.txt sagt, was nicht abgerufen werden soll; llms.txt ist eine vorgeschlagene Datei, die die wichtigsten Seiten einer Website für Sprachmodelle auflistet. Die Verbreitung wächst, die gemessene Nutzung ist aber gering. Rankability fand llms.txt am 18. September 2026 auf 9,3 % der 1.000 Top-Websites. Eine Ahrefs-Studie über 137.000 Domains, über die PPC Land am 2. Juli 2026 berichtete, ergab, dass 97 % der llms.txt-Dateien überhaupt keine Requests erhielten.
Unser llms.txt-Leitfaden zeigt, wie Sie eine aus einem Crawl Ihrer eigenen Website erstellen – falls Sie trotzdem eine wollen.
Wie behandelt WebReaderAPI robots.txt?
Bei jedem Abruf wird sie eingehalten, auch bei Abrufen, die ein Kunde auslöst. Wir respektieren robots.txt: Unser Crawler identifiziert sich als WebReaderAPI, befolgt die Regeln, die für ihn oder für alle Roboter geschrieben sind, und liest keine Seite, die eine Website nicht erlaubt. Verweigerte Seiten werden nicht abgerechnet. Wenn eine Website in ihrer robots.txt Content-Signal: ai-input=no deklariert, lesen wir ihre Seiten nicht für Sie. Bei Crawl-Jobs wartet die API außerdem die Crawl-delay ab, die eine Website festlegt.
Jeder Request trägt denselben User-Agent, WebReaderAPI/1.0 (+https://webreaderapi.com/bot/), sodass Website-Betreiber uns in ihren Logs sehen und Regeln für uns schreiben können. Unsere Crawler-Seite enthält die Details und einen Kontakt für Probleme.
# Block WebReaderAPI from the whole site
User-agent: WebReaderAPI
Disallow: /
# Or: allow it, but keep it out of one folder and slow it down
User-agent: WebReaderAPI
Disallow: /account/
Crawl-delay: 5
# Or: allow reading for search, but not as AI input (Content Signals)
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
robots.txt für KI: häufige Fragen
Verhindert das Blockieren von GPTBot, dass ChatGPT meine Seite für einen Nutzer liest?
Nicht unbedingt. OpenAI dokumentiert getrennte Token: GPTBot für Training, OAI-SearchBot für Suche und ChatGPT-User für Nutzeraktionen, und gibt an, dass robots.txt-Regeln für nutzerinitiierte Aktionen möglicherweise nicht gelten. Prüfen Sie die aktuelle Dokumentation des jeweiligen Anbieters.
Ist robots.txt rechtlich bindend?
Nicht für sich genommen; RFC 9309 sagt, sie ist keine Zugangsautorisierung. In der EU sind maschinenlesbare Opt-outs für Text- und Data-Mining unter der DSM-Richtlinie relevant. Siehe unsere rechtliche Übersicht; dies ist keine Rechtsberatung.
Wie blockiere ich WebReaderAPI?
Fügen Sie Ihrer robots.txt eine User-agent: WebReaderAPI-Gruppe mit Disallow: / hinzu. Unsere Abrufe prüfen sie vor jeder Seite; nicht erlaubte Seiten werden nie gelesen.
Liest WebReaderAPI Seiten, die ai-input=no angeben?
Nein. Wenn eine Website in ihrer robots.txt Content-Signal: ai-input=no deklariert, lesen wir ihre Seiten nicht für Sie. Die API gibt 403 blocked_by_site_policy an den Kunden zurück, ohne Berechnung.
Quellen (12)
- RFC 9309: Robots Exclusion Protocol — RFC Editor (September 2022)
- Überblick über OpenAI-Crawler — OpenAI (read 2026-10-22)
- Crawlt Anthropic Daten aus dem Web, und wie können Website-Betreiber den Crawler blockieren? — Anthropic (2026-04-07)
- Google-Fetcher, die durch Nutzer ausgelöst werden — Google (updated 2026-08-19)
- Perplexity-Crawler — Perplexity (read 2026-10-22)
- MCP-Fetch-Server — Model Context Protocol (read 2026-10-22)
- Content Signals Policy — Cloudflare (2025-09-24)
- Dokumente der AI Preferences Working Group — IETF (read 2026-10-22)
- Dokumente der Web Bot Auth Working Group — IETF (read 2026-10-22)
- Really Simple Licensing — rslstandard.org (read 2026-10-22)
- Daten zur Verbreitung von llms.txt — Rankability (2026-09-18)
- Verbreitung von llms.txt steigt um das 8,8-Fache, aber 97 % der Dateien erhalten null KI-Anfragen — PPC Land (2026-07-02)