Test
10.000 Seiten
3,75 $
0,38 $/1K Seiten
- Testen Sie es mit Ihren echten URLs
- Dieselbe API wie beim größten Paket
- Credits verfallen nie
Kurze Antwort
Was ist der beste Weg, einem AI-Agent ein Web-Fetch-Tool zu geben?
Verpacken Sie eine Web-Reader-API als Tool, das eine URL entgegennimmt und den Hauptinhalt der Seite als Markdown zurückgibt, auf eine feste Länge gekürzt. WebReaderAPI erledigt das Lesen, rendert JavaScript bei Bedarf, respektiert robots.txt und berechnet einen Credit pro Seite ab 0,07 $/1K Seiten, Stand Oktober 2026. Fertiger Tool-Code deckt MCP, OpenAI function calling, LangChain, n8n und OpenClaw ab. Ohne KYC; Krypto.
WebReaderAPI als Agent-Tool
| Tool | read_url(url, max_chars) ruft https://webreaderapi.com/api/v1/read auf |
|---|---|
| Gibt zurück | Markdown des Hauptinhalts, plus Titel, Autor, Datum und Wortanzahl |
| Längenbegrenzung | max_chars, 1.000 bis 500.000 Zeichen pro Seite |
| JavaScript-Seiten | JavaScript-Rendering in einem Headless-Browser, wenn die Seite es braucht (render=auto), oder immer, oder nie |
| Ablehnungen | Werden als klare Fehler zurückgegeben, nie berechnet |
| Integrationen | MCP, OpenAI, LangChain und LlamaIndex, n8n, OpenClaw |
| Preis | 3,75 $ für 10.000 Seiten; Credits laufen nie ab |
Warum braucht ein Agent einen Reader statt rohem HTML?
Weil rohes HTML das Kontextfenster mit Dingen verbraucht, die das Modell nicht braucht. Ein Nachrichtenartikel oder eine Docs-Seite kommt verpackt in Navigation, Skripte, Consent-Banner und verwandte Links an. Unverändert übergeben verdrängt das die Konversation und bringt das Modell dazu, Menüs zu zitieren.
Ein Reader löst drei Probleme auf einmal. Er behält nur den Hauptinhalt, er rendert Seiten, die leer bleiben, bis JavaScript läuft, und er wandelt PDFs in Text um. Der Agent erhält einen kompakten Markdown-Block mit Titel und Datum, den er zitieren kann.
Warum schlagen eingebaute Fetch-Tools manchmal fehl?
Meistens, weil Seiten automatisierten Traffic ablehnen. Seit dem 1. Juli 2025 blockiert Cloudflare KI-Crawler standardmäßig für neue Domains, und ab dem 15. September 2026 blockieren seine Presets "Agent"-Traffic auf werbefinanzierten Seiten neuer Domains. Eingebaute Tools in Coding-Agenten und Assistenten stoßen auf dieselben Ablehnungen wie jeder andere Client.
Andere Fehler sind technisch. OpenClaws Dokumentation, gelesen am 22. Oktober 2026, sagt, dass sein eingebautes web_fetch Inhalte mit Readability extrahiert, kein JavaScript ausführt und die Ausgabe auf 20.000 Zeichen begrenzt. Im Browser gebaute Seiten, lange Dokumente, langsame Server und rate limits bringen solche Tools zum Scheitern. Ein Reader, der Seiten rendert, behebt den JavaScript-Fall; Caching und Geduld beheben den Rest. Ablehnungen liegen im Ermessen des Seitenbetreibers. Unser Leitfaden zu 403-Fehlern beim Web Fetch erklärt jeden Fall.
Warum heißt das Tool read_url und nicht web_fetch?
Um einen Konflikt mit Tools zu vermeiden, die Agenten bereits haben. Claude Code und OpenClaw bringen beide ein eingebautes Tool namens web_fetch mit. Ein zweites Tool mit demselben Namen verwirrt das Modell darüber, welches es aufruft. Unser Tool read_url zu nennen hält beide verfügbar: Der Agent kann seinen eingebauten Fetcher für schnelle Prüfungen nutzen und read_url, wenn er sauberes Markdown, PDFs oder JavaScript-Seiten braucht.
Die Tool-Definitionen auf unseren Docs-Seiten verwenden alle diesen Namen, sodass Sie zwischen Frameworks wechseln können, ohne Ihre Prompts zu ändern.
import os
import requests
API = "https://webreaderapi.com/api/v1/read"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}
def read_url(url: str, max_chars: int = 12000) -> str:
"""Return a web page as Markdown for a model, or a short reason it was not read."""
resp = requests.get(API, headers=HEADERS, params={"url": url, "max_chars": max_chars}, timeout=90)
data = resp.json()
if resp.status_code != 200:
err = data.get("error", {})
return "Not read (" + err.get("code", "error") + "): " + err.get("message", "")
head = "# " + (data.get("title") or url) + "\nSource: " + data["final_url"]
if data.get("published_at"):
head += " | Published: " + data["published_at"]
return head + "\n\n" + data["markdown"]
if __name__ == "__main__":
print(read_url("https://example.com/blog/pour-over-coffee", max_chars=2000)[:500])
Wie sollte ein Agent entscheiden, was er liest?
Geben Sie ihm ein Budget und eine Regel. Drei Gewohnheiten halten Kosten und Kontext im Zaum:
- Wenig lesen, gut lesen. Zwei bis vier Quellen pro Frage reichen meist, um mit Zitaten zu antworten.
- Jede Seite begrenzen. Starten Sie mit
max_charsvon etwa 10.000 bis 15.000 Zeichen; erhöhen Sie es nur, wennword_countzeigt, dass die Antwort wahrscheinlich weiter unten steht. - Ablehnungen melden. Wird eine Seite nicht gelesen, lassen Sie das Modell es sagen und zu einer anderen Quelle wechseln, statt es erneut zu versuchen.
Das obige Tool gibt Ablehnungen als einen schlichten Satz zurück, sodass das Modell sie dem Nutzer erklären kann.
Was kostet der Betrieb eines Agenten auf WebReaderAPI?
Ein Credit pro Seite, zwei, wenn die Seite einen Browser braucht. Ein Assistent, der 100 Fragen pro Tag beantwortet und für jede 4 Seiten liest, liest etwa 12.000 Seiten pro Monat. 50.000 Seiten (14,25 $) decken das für vier Monate ab, Stand Oktober 2026.
Credits laufen nie ab, sodass ein Agent, der eine Woche beschäftigt und die nächste untätig ist, kein Monatskontingent verschwendet. Seiten, die fehlschlagen oder die robots.txt verweigert, kosten nichts.
Welches Paket passt zu einem Agenten?
Prototyp auf 10.000 Seiten; wechseln Sie zu 50.000 Seiten oder 100.000 Seiten, wenn der Agent echte Nutzer bedient. Credits laufen nie ab.
Starter
50.000 Seiten
14,25 $
0,28 $/1K Seiten
- Ein AI-Agent oder ein RAG-Prototyp
- Eine Dokumentationsseite crawlen
- Credits verfallen nie
Aufbauen
100.000 Seiten
21,75 $
0,22 $/1K Seiten
- Produktions-Agenten und RAG-Pipelines
- Batch- und Crawling-Jobs
- Credits verfallen nie
In jedem Plan: Hauptinhalt extrahieren · JavaScript-Rendering bei Bedarf · Fehlgeschlagene und abgelehnte Seiten werden nicht berechnet · Credits verfallen nie
KI-Agenten: häufige Fragen
Kann ich WebReaderAPI zu Claude Desktop oder Cursor hinzufügen?
Ja, über einen kleinen MCP-Server, der read_url bereitstellt. Die MCP-Seite enthält den Code und das Konfigurations-Snippet; Ihr API-Schlüssel bleibt in einer Umgebungsvariable.
Funktioniert es mit OpenClaw?
Ja, als MCP-Server neben OpenClaws eingebautem web_fetch. Die OpenClaw-Seite zeigt die Befehle aus OpenClaws eigener Dokumentation.
Kann der Agent Seiten lesen, die KI-Bots blockieren?
Nein. Wenn robots.txt die Seite verweigert, gibt die API blocked_by_robots zurück; wenn die Seite ablehnt, gibt sie target_refused mit dem Status der Seite zurück. Beides wird nicht berechnet, und wir versuchen nie, die Ablehnung zu umgehen.
Wie verhindere ich, dass eine lange Seite das Kontextfenster füllt?
Setzen Sie max_chars. Das Markdown wird an dieser Länge abgeschnitten, und word_count teilt dem Agenten mit, wie lang die vollständige Seite war, sodass er nur bei Bedarf mehr anfordern kann.
Brauche ich eine Karte oder einen Ausweis?
Nein. WebReaderAPI verlangt keinen Ausweis, kein Selfie, keine Dokumente und keine Karte. Die Zahlung erfolgt in BTC, USDT, USDC, ETH, SOL, LTC, mit einer Mindestaufladung von 25 $.
Quellen (3)
- Pressemitteilung: KI-Crawler standardmäßig blockiert — Cloudflare (2025-07-01)
- Blog: neue Defaults für KI-Crawler und Agenten — Cloudflare (2026-09-15)
- Web-Fetch-Tool — OpenClaw (read 2026-10-22)