Warum KI-Agenten beim Abrufen von Webseiten 403-Fehler erhalten

Was hat sich im Web 2025 und 2026 geändert?

Große Infrastrukturanbieter haben das Blockieren von KI zum Standard gemacht. Drei datierte Änderungen erklären die meisten neuen 403er:

• 1. Juli 2025: Cloudflare gab bekannt, KI-Crawler nun standardmäßig zu blockieren und jede neue Domain bei der Anmeldung zu fragen, ob sie diese zulassen will. Am selben Tag startete pay per crawl in der privaten Beta, das mit HTTP 402 und einem Preis antwortet.
• 1. Juli 2026: Cloudflare führte drei Kategorien von KI-Traffic ein: Search, Agent und Training. "Agent" umfasst ausdrücklich Chat-Fetcher wie ChatGPT-User.
• 15. September 2026: Bei neuen Domains blockieren Cloudflares Voreinstellungen Training- und Agent-Traffic auf Seiten, die Werbung anzeigen; Search bleibt erlaubt.

Ein Agent, der eine Seite für einen Nutzer abruft, fällt in die Kategorie Agent. Auf werbefinanzierten Seiten, die nach September 2026 eingerichtet wurden, rechnen Sie mit Ablehnungen.

Wie unterscheide ich eine Sperre von einem Bug?

Lesen Sie den Statuscode und den Body, bevor Sie etwas ändern.

Nur der 429 und die leere JavaScript-Seite sind technische Probleme, die Sie auf Ihrer Seite lösen können. Die anderen sind Entscheidungen des Seitenbetreibers.

Was kann ein Agent-Entwickler legitimerweise tun?

Arbeiten Sie mit der Seite, nicht um sie herum. Diese Schritte beheben viele Fehler und halten Ihren Agenten auf der richtigen Seite der Seitenbetreiber:

1. Nutzen Sie den eigenen Kanal der Seite. Viele Seiten bieten eine API, einen RSS- oder Atom-Feed oder eine Sitemap mit den Inhalten, die Sie brauchen.
2. Bitten Sie um Zugang. Seitenbetreiber können einen benannten Bot in robots.txt oder in ihren CDN-Einstellungen zulassen. Ein klarer User-Agent und eine Kontaktseite machen das einfach.
3. Rendern Sie Seiten, die erlaubt, aber leer sind. Für reine JavaScript-Seiten nutzen Sie einen Reader, der einen Headless-Browser ausführt.
4. Drosseln und cachen. Lesen Sie dieselbe Seite einmal, speichern Sie sie und beachten Sie Crawl-delay und 429-Antworten.
5. Zahlen Sie, wo die Seite Zugang verkauft. Ein 402 ist ein Angebot; nehmen Sie es über den Kanal der Seite an oder lassen Sie die Seite aus.

Jeder dieser Schritte lässt den Seitenbetreiber die Kontrolle, und genau das hält Ihren Agenten dauerhaft nützlich.

Was sollte ich niemals tun, um eine Ablehnung zu umgehen?

Tarnen Sie niemals den Agenten und umgehen Sie niemals einen Schutz. Den User-Agent eines Browsers fälschen, IP-Adressen rotieren, um einer Sperre zu entkommen, oder Challenge-Seiten lösen macht aus einem höflichen Client ein Werkzeug, das zum Umgehen von Zugangskontrollen gebaut ist. 2026 behandelten zwei US-Gerichte solche Techniken in Klagen über automatisierten Zugriff auf Suchergebnisse als Umgehung. Die Fälle sind noch offen und nichts ist entschieden, aber das Risiko ist nicht theoretisch.

Es bricht auch das Vertrauen zu den Seiten, auf die Ihre Nutzer angewiesen sind. Eine Ablehnung ist eine Information: Halten Sie sie fest, sagen Sie dem Nutzer, dass die Seite nicht verfügbar war, und wenden Sie sich einer anderen Quelle zu.

Was tun integrierte Fetch-Tools, wenn eine Seite ablehnt?

Die meisten geben den Fehler an das Modell zurück, das dann dem Nutzer sagt, es konnte die Seite nicht lesen. Die Dokumentation von OpenClaw, gelesen am 22. Oktober 2026, besagt, dass sein integriertes web_fetch Inhalte mit Readability extrahiert, kein JavaScript ausführt und die Ausgabe auf 20.000 Zeichen begrenzt; es kann auf einen Fetch-Provider zurückgreifen, und Plugins können neue registrieren. Der MCP-Referenz-Fetch-Server beachtet bei modellinitiierten Abrufen standardmäßig robots.txt.

Wenn diese Tools auf Seiten scheitern, die Robots erlauben, aber JavaScript benötigen, hilft ein Reader, der Seiten rendert. Wenn sie scheitern, weil die Seite abgelehnt hat, sollte kein Tool die Antwort ändern.

Was gibt WebReaderAPI zurück, wenn eine Seite ablehnt?

Es gibt die Ablehnung klar zurück, und Ihnen wird nichts berechnet. Eine Seite, die robots.txt verbietet, liefert 403 blocked_by_robots. Eine Seite, die ai-input=no erklärt, liefert 403 blocked_by_site_policy. Eine Seite, die die Anfrage auf andere Weise ablehnt, liefert 502 target_refused, mit dem eigenen Statuscode der Seite in target_status.

Wenn eine Website unsere Suchanfrage ablehnt, geben wir ihre Antwort zurück: Wir lösen nie CAPTCHAs, melden uns nie in Konten an und versuchen nie, eine Sperre oder eine Paywall zu umgehen. Ihr Agent kann dem Nutzer genau zeigen, warum eine Seite übersprungen wurde. Die Fehlerseite listet jeden Code mit der jeweiligen Wiederholungsregel auf.