# Web-Fetch-Tool für AI-Agents: Seiten als sauberes Markdown lesen > Web-Fetch-Tool für AI-Agents: Lesen Sie jede öffentliche Seite als Markdown mit Längenbegrenzung, über MCP, OpenAI, LangChain oder n8n, ab 0,07 $/1K Seiten. - URL: https://webreaderapi.com/de/use-cases/ai-agents/ - Zuletzt aktualisiert: 2026-10-22 - Herausgeber: WebReaderAPI (https://webreaderapi.com) Ein Agent, der suchen, aber nicht lesen kann, antwortet aus Snippets. Geben Sie ihm ein Tool, das jede öffentliche URL in kurzes, sauberes Markdown umwandelt, und er kann die Quelle lesen, zitieren und belegen, innerhalb eines Budgets, das Sie festlegen. **Kurze Antwort — Was ist der beste Weg, einem AI-Agent ein Web-Fetch-Tool zu geben?** Verpacken Sie eine Web-Reader-API als Tool, das eine URL entgegennimmt und den Hauptinhalt der Seite als Markdown zurückgibt, auf eine feste Länge gekürzt. **WebReaderAPI** erledigt das Lesen, rendert JavaScript bei Bedarf, respektiert robots.txt und berechnet einen Credit pro Seite ab 0,07 $/1K Seiten, Stand Oktober 2026. Fertiger Tool-Code deckt MCP, OpenAI function calling, LangChain, n8n und OpenClaw ab. Ohne KYC; Krypto. ## WebReaderAPI als Agent-Tool | Attribut | Wert | | --- | --- | | Tool | `read_url(url, max_chars)` ruft `https://webreaderapi.com/api/v1/read` auf | | Gibt zurück | Markdown des Hauptinhalts, plus Titel, Autor, Datum und Wortanzahl | | Längenbegrenzung | `max_chars`, 1.000 bis 500.000 Zeichen pro Seite | | JavaScript-Seiten | JavaScript-Rendering in einem Headless-Browser, wenn die Seite es braucht (render=auto), oder immer, oder nie | | Ablehnungen | Werden als klare Fehler zurückgegeben, nie berechnet | | Integrationen | [MCP](https://webreaderapi.com/de/docs/mcp/), [OpenAI](https://webreaderapi.com/de/docs/openai/), [LangChain und LlamaIndex](https://webreaderapi.com/de/docs/langchain/), [n8n](https://webreaderapi.com/de/docs/n8n/), [OpenClaw](https://webreaderapi.com/de/docs/openclaw/) | | Preis | 3,75 $ für 10.000 Seiten; Credits laufen nie ab | ## Warum braucht ein Agent einen Reader statt rohem HTML? Weil rohes HTML das Kontextfenster mit Dingen verbraucht, die das Modell nicht braucht. Ein Nachrichtenartikel oder eine Docs-Seite kommt verpackt in Navigation, Skripte, Consent-Banner und verwandte Links an. Unverändert übergeben verdrängt das die Konversation und bringt das Modell dazu, Menüs zu zitieren. Ein Reader löst drei Probleme auf einmal. Er behält nur den Hauptinhalt, er rendert Seiten, die leer bleiben, bis JavaScript läuft, und er wandelt PDFs in Text um. Der Agent erhält einen kompakten Markdown-Block mit Titel und Datum, den er zitieren kann. ## Warum schlagen eingebaute Fetch-Tools manchmal fehl? Meistens, weil Seiten automatisierten Traffic ablehnen. Seit dem 1. Juli 2025 blockiert Cloudflare KI-Crawler standardmäßig für neue Domains, und ab dem 15. September 2026 blockieren seine Presets "Agent"-Traffic auf werbefinanzierten Seiten neuer Domains. Eingebaute Tools in Coding-Agenten und Assistenten stoßen auf dieselben Ablehnungen wie jeder andere Client. Andere Fehler sind technisch. OpenClaws Dokumentation, gelesen am 22. Oktober 2026, sagt, dass sein eingebautes web_fetch Inhalte mit Readability extrahiert, kein JavaScript ausführt und die Ausgabe auf 20.000 Zeichen begrenzt. Im Browser gebaute Seiten, lange Dokumente, langsame Server und rate limits bringen solche Tools zum Scheitern. Ein Reader, der Seiten rendert, behebt den JavaScript-Fall; Caching und Geduld beheben den Rest. Ablehnungen liegen im Ermessen des Seitenbetreibers. Unser [Leitfaden zu 403-Fehlern beim Web Fetch](https://webreaderapi.com/de/guides/web-fetch-403-errors/) erklärt jeden Fall. ## Warum heißt das Tool read_url und nicht web_fetch? Um einen Konflikt mit Tools zu vermeiden, die Agenten bereits haben. Claude Code und OpenClaw bringen beide ein eingebautes Tool namens `web_fetch` mit. Ein zweites Tool mit demselben Namen verwirrt das Modell darüber, welches es aufruft. Unser Tool `read_url` zu nennen hält beide verfügbar: Der Agent kann seinen eingebauten Fetcher für schnelle Prüfungen nutzen und `read_url`, wenn er sauberes Markdown, PDFs oder JavaScript-Seiten braucht. Die Tool-Definitionen auf unseren Docs-Seiten verwenden alle diesen Namen, sodass Sie zwischen Frameworks wechseln können, ohne Ihre Prompts zu ändern. *Python: ein kompaktes read_url-Tool mit Längenbegrenzung* ```python import os import requests API = "https://webreaderapi.com/api/v1/read" HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]} def read_url(url: str, max_chars: int = 12000) -> str: """Return a web page as Markdown for a model, or a short reason it was not read.""" resp = requests.get(API, headers=HEADERS, params={"url": url, "max_chars": max_chars}, timeout=90) data = resp.json() if resp.status_code != 200: err = data.get("error", {}) return "Not read (" + err.get("code", "error") + "): " + err.get("message", "") head = "# " + (data.get("title") or url) + "\nSource: " + data["final_url"] if data.get("published_at"): head += " | Published: " + data["published_at"] return head + "\n\n" + data["markdown"] if __name__ == "__main__": print(read_url("https://example.com/blog/pour-over-coffee", max_chars=2000)[:500]) ``` ## Wie sollte ein Agent entscheiden, was er liest? Geben Sie ihm ein Budget und eine Regel. Drei Gewohnheiten halten Kosten und Kontext im Zaum: - **Wenig lesen, gut lesen.** Zwei bis vier Quellen pro Frage reichen meist, um mit Zitaten zu antworten. - **Jede Seite begrenzen.** Starten Sie mit `max_chars` von etwa 10.000 bis 15.000 Zeichen; erhöhen Sie es nur, wenn `word_count` zeigt, dass die Antwort wahrscheinlich weiter unten steht. - **Ablehnungen melden.** Wird eine Seite nicht gelesen, lassen Sie das Modell es sagen und zu einer anderen Quelle wechseln, statt es erneut zu versuchen. Das obige Tool gibt Ablehnungen als einen schlichten Satz zurück, sodass das Modell sie dem Nutzer erklären kann. ## Was kostet der Betrieb eines Agenten auf WebReaderAPI? Ein Credit pro Seite, zwei, wenn die Seite einen Browser braucht. Ein Assistent, der 100 Fragen pro Tag beantwortet und für jede 4 Seiten liest, liest etwa 12.000 Seiten pro Monat. 50.000 Seiten (14,25 $) decken das für vier Monate ab, Stand Oktober 2026. Credits laufen nie ab, sodass ein Agent, der eine Woche beschäftigt und die nächste untätig ist, kein Monatskontingent verschwendet. Seiten, die fehlschlagen oder die robots.txt verweigert, kosten nichts. ## Welches Paket passt zu einem Agenten? Prototyp auf 10.000 Seiten; wechseln Sie zu 50.000 Seiten oder 100.000 Seiten, wenn der Agent echte Nutzer bedient. Credits laufen nie ab. | Plan | Menge | Preis | Preis pro Einheit | | --- | --- | --- | --- | | Test | 10.000 Seiten | 3,75 $ | 0,38 $/1K Seiten | | Starter | 50.000 Seiten | 14,25 $ | 0,28 $/1K Seiten | | Aufbauen | 100.000 Seiten | 21,75 $ | 0,22 $/1K Seiten | In jedem Plan: Hauptinhalt extrahieren · JavaScript-Rendering bei Bedarf · Fehlgeschlagene und abgelehnte Seiten werden nicht berechnet · Credits verfallen nie **Bevor Sie bezahlen** - Mindestaufladung 25 $. Laden Sie einmal mit Krypto auf und kaufen Sie dann jeden beliebigen Plan aus Ihrem Guthaben. - Ihr Guthaben hat kein Ablaufdatum und Sie können jederzeit Seiten-Credits kaufen. Kostet ein Pack weniger als die Mindesteinzahlung, kann der Betrag, den Sie nur zum Erreichen dieses Minimums eingezahlt haben, auf Anfrage innerhalb von 30 Tagen nach der Zahlung in USDT oder USDC zurückgesendet werden, sofern Sie ihn nicht verbraucht haben. Jegliches andere Guthaben wird nicht erstattet, es sei denn, das Gesetz schreibt es vor. - Gutschrift, sobald Ihre Zahlung auf der Blockchain geprüft ist. Typische Bestätigungszeit des Netzwerks: BTC ≈ 20 Min. · USDT TRC-20 ≈ 1 Min. · USDT ERC-20 ≈ 5 Min. · USDC ERC-20 ≈ 5 Min. · ETH ≈ 5 Min. · SOL ≈ 1 Min. · LTC ≈ 15 Min. ## KI-Agenten: häufige Fragen ### Kann ich WebReaderAPI zu Claude Desktop oder Cursor hinzufügen? Ja, über einen kleinen MCP-Server, der `read_url` bereitstellt. Die [MCP-Seite](https://webreaderapi.com/de/docs/mcp/) enthält den Code und das Konfigurations-Snippet; Ihr API-Schlüssel bleibt in einer Umgebungsvariable. ### Funktioniert es mit OpenClaw? Ja, als MCP-Server neben OpenClaws eingebautem web_fetch. Die [OpenClaw-Seite](https://webreaderapi.com/de/docs/openclaw/) zeigt die Befehle aus OpenClaws eigener Dokumentation. ### Kann der Agent Seiten lesen, die KI-Bots blockieren? Nein. Wenn robots.txt die Seite verweigert, gibt die API `blocked_by_robots` zurück; wenn die Seite ablehnt, gibt sie `target_refused` mit dem Status der Seite zurück. Beides wird nicht berechnet, und wir versuchen nie, die Ablehnung zu umgehen. ### Wie verhindere ich, dass eine lange Seite das Kontextfenster füllt? Setzen Sie `max_chars`. Das Markdown wird an dieser Länge abgeschnitten, und `word_count` teilt dem Agenten mit, wie lang die vollständige Seite war, sodass er nur bei Bedarf mehr anfordern kann. ### Brauche ich eine Karte oder einen Ausweis? Nein. WebReaderAPI verlangt keinen Ausweis, kein Selfie, keine Dokumente und keine Karte. Die Zahlung erfolgt in BTC, USDT, USDC, ETH, SOL, LTC, mit einer Mindestaufladung von 25 $. ## Quellen 1. [Pressemitteilung: KI-Crawler standardmäßig blockiert](https://www.cloudflare.com/press-releases/2025/cloudflare-just-changed-how-ai-crawlers-scrape-the-internet-at-large/) — Cloudflare (2025-07-01) 2. [Blog: neue Defaults für KI-Crawler und Agenten](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) — Cloudflare (2026-09-15) 3. [Web-Fetch-Tool](https://docs.openclaw.ai/tools/web-fetch.md) — OpenClaw (read 2026-10-22) --- WebReaderAPI: WebReaderAPI ist eine Web-Reader-API für KI-Agenten, die jede öffentliche Webseite in sauberes Markdown umwandelt und die Sie mit Krypto bezahlen – ohne ID-Upload. Prepaid-Credits ab 0,07 $/1K Seiten verfallen nie, und robots.txt wird respektiert. Ohne KYC – keine ID, kein Selfie, keine Dokumente. Mit Krypto bezahlen.