WebReaderAPI-Bot: User-Agent, robots.txt und wie Sie ihn blockieren

Warum hat WebReaderAPI meine Seite abgerufen?

Weil ein Kunde der API es angefordert hat. WebReaderAPI baut keinen eigenen Index des Webs auf und durchsucht das Web nicht aus eigenem Antrieb. Jeder Abruf gehört zu einem von drei Anfragetypen:

• Ein einzelner Lesevorgang: Eine Anwendung oder ein KI-Agent hat Ihre URL an /read gesendet, meist weil eine Person eine Frage gestellt hat, die Ihre Seite beantwortet.
• Ein Batch-Job: Ein Kunde hat eine Liste mit bis zu 100 URLs gesendet, und Ihre war dabei.
• Ein Crawl-Job: Ein Kunde hat uns gebeten, eine ganze Website zu lesen, beginnend bei einer Adresse und auf dieser Domain bleibend. Crawls folgen Ihrer Sitemap und Ihrer robots.txt.

Der Kunde erhält den Haupttext der Seite als Markdown. Wir behalten danach keine Kopie davon.

Wie blockiere ich den Bot auf meiner gesamten Website?

Fügen Sie Ihrer robots.txt-Datei eine Gruppe für unser Token hinzu. Der Bot liest /robots.txt vor dem Abruf einer Seite und cached sie höchstens 24 Stunden lang, sodass eine Änderung spätestens innerhalb eines Tages wirksam wird.

Kann ich nur einen Teil meiner Website blockieren oder den Bot bremsen?

Ja. Listen Sie die Ordner, die Sie ausschließen möchten, unter Disallow auf und setzen Sie einen Crawl-delay in Sekunden für Crawl-Jobs. Regeln, die für alle Robots geschrieben sind (User-agent: *), gelten auch für uns, wenn Sie keine Gruppe für unser Token haben. Wenn Sie eine haben, gewinnt diese Gruppe, wie in RFC 9309 beschrieben.

Befolgt der Bot KI-Präferenzsignale?

Ja, diejenigen, die eine Website in robots.txt angibt. Wenn Ihre Datei Content-Signal: ai-input=no deklariert, behandeln wir das als Verweigerung, Ihre Seiten als Eingabe für KI-Antworten zu verwenden, und wir lesen sie nicht für unsere Kunden. Die API gibt dann den Fehler blocked_by_site_policy an den Kunden zurück, der dafür nicht belastet wird.

Was tut der Bot, wenn meine Website ihn ablehnt?

Er stoppt und meldet Ihre Antwort. Ein 403- oder 429-Status, eine Challenge-Seite, ein Login-Formular oder eine Paywall beenden die Anfrage. Der Kunde erhält den Fehler target_refused mit Ihrem Statuscode und wird dafür nicht belastet.

Der Bot löst niemals Challenges, meldet sich niemals an, ändert niemals seinen User-Agent, um wie ein Browser auszusehen, und versucht es niemals getarnt erneut. Wenn Sie möchten, dass wir Ihre Seiten lesen, erlauben Sie das Token in robots.txt und lassen Sie die Anfragen durch; wenn nicht, ist auf Ihrer Seite nichts weiter nötig.

Was verspricht WebReaderAPI noch nicht?

Wir veröffentlichen derzeit keine Liste von IP-Adressen, daher identifizieren Sie den Bot bitte anhand seines User-Agent und seines robots.txt-Verhaltens, nicht anhand der IP. Seiten, die mit der Option country gelesen werden, gehen von einer Adresse im gewählten Land aus, weiterhin mit demselben User-Agent. Wir werden unsere Adressbereiche auf dieser Seite ergänzen, sobald sie feststehen, mit dem Datum der Änderung.

Wie melde ich ein Problem mit dem Bot?

Schreiben Sie an [email protected] mit Datum und Uhrzeit, Ihrer Domain, der abgerufenen URL und einer Zeile Ihres Access-Logs, die unseren User-Agent zeigt. Ein Mensch liest jeden Bericht und prüft ihn gegen unsere Logs. Wenn ein Kunde die API gegen unsere Acceptable Use Policy verstößt, wird sein Konto gesperrt.

Um zu prüfen, ob eine Anfrage wirklich von uns kam, vergleichen Sie den User-Agent und das robots.txt-Verhalten mit dieser Seite. Ein Client, der Ihre robots.txt-Regeln ignoriert und dabei unseren Namen verwendet, ist nicht unser Bot.