Test
10.000 Seiten
3,75 $
0,38 $/1K Seiten
- Testen Sie es mit Ihren echten URLs
- Dieselbe API wie beim größten Paket
- Credits verfallen nie
Kurze Antwort
Wie kann ich eine ganze Webseite crawlen und jede Seite als Markdown erhalten?
Nutzen Sie eine Crawl-API: Sie senden eine Start-URL und ein Limit, und sie liefert jede Seite der Webseite als Markdown zurück. WebReaderAPI crawlt bis zu 10.000 Seiten pro Job innerhalb einer Domain, befolgt Sitemap, robots.txt und Crawl-delay und berechnet einen Credit pro gelesener Seite, ab 0,07 $/1K Seiten Stand Oktober 2026. Seiten, die durch robots.txt abgelehnt werden, sind kostenlos. Ohne KYC; mit Krypto bezahlen.
Crawl-API auf einen Blick
| Crawl starten | POST https://webreaderapi.com/api/v1/crawl mit url, limit, max_depth, include_paths, exclude_paths |
|---|---|
| Ergebnisse abrufen | GET https://webreaderapi.com/api/v1/jobs/{job_id}, paginiert mit einem Cursor |
| Umfang | Eine Website pro Job crawlen, bis zu 10.000 Seiten, entlang ihrer Sitemap, ihrer robots.txt und ihrer Crawl-delay |
| Viele einzelne URLs | POST https://webreaderapi.com/api/v1/batch: Bis zu 100 URLs pro Batch-Job |
| Abrechnung | 1 Credit = 1 gelesene Seite ohne Browser; 2 Credits, wenn die Seite einen Browser braucht, um JavaScript auszuführen. Eine Suchanfrage, die fehlschlägt oder die eine robots.txt einer Website verweigert, wird nicht abgerechnet |
| Seiteninhaber | Wir respektieren robots.txt: Unser Crawler identifiziert sich als WebReaderAPI, befolgt die Regeln, die für ihn oder für alle Roboter geschrieben sind, und liest keine Seite, die eine Website nicht erlaubt. Verweigerte Seiten werden nicht abgerechnet |
| Preis | 14,25 $ für 50.000 Seiten, 50 $ für 500.000 Seiten |
Wie funktioniert ein Crawl-Job?
Ein Crawl ist ein Hintergrund-Job, weil das Lesen hunderter Seiten länger dauert, als eine einzelne HTTP-Anfrage dauern sollte.
- Starten:
POST https://webreaderapi.com/api/v1/crawlmit der Start-URL und Ihren Limits. Sie erhalten sofort einejob_id. - Entdecken: Der Crawler liest die robots.txt und die Sitemap der Seite und folgt dann Links innerhalb derselben Domain, breadth first, bis zu
max_depth. - Lesen: Jede erlaubte Seite wird mit denselben Optionen wie bei
/readgelesen: Markdown, Hauptinhalt, Rendering bei Bedarf. - Abholen: Fragen Sie
GET https://webreaderapi.com/api/v1/jobs/{job_id}ab und blättern Sie mit dem Cursor durch die Ergebnisse, während der Job läuft, oder einmal, wenn erdoneist.
Der Job stoppt bei Ihrem limit, Sie zahlen also nie für mehr Seiten, als Sie angefordert haben.
import os
import pathlib
import re
import time
import requests
API = "https://webreaderapi.com/api/v1"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}
job = requests.post(
API + "/crawl",
headers=HEADERS,
json={"url": "https://docs.example.com/", "limit": 500, "max_depth": 4, "include_paths": ["/guide/*"]},
timeout=60,
).json()
out = pathlib.Path("docs_md")
out.mkdir(exist_ok=True)
cursor, delay = None, 5
while True:
params = {"cursor": cursor} if cursor else {}
page = requests.get(API + "/jobs/" + job["job_id"], headers=HEADERS, params=params, timeout=60).json()
for item in page.get("results", []):
if "markdown" in item:
name = re.sub(r"[^a-z0-9]+", "-", item["url"].lower()).strip("-")[:120]
(out / (name + ".md")).write_text(item["markdown"], encoding="utf-8")
cursor = page.get("next_cursor")
if page["status"] == "done" and not cursor:
break
if not cursor:
time.sleep(delay)
delay = min(delay * 2, 60)
print("credits used:", page.get("credits_used"))
Welche Seiten besucht der Crawler und welche überspringt er?
Er bleibt innerhalb der Domain der Start-URL und überspringt alles, was die Seite Robots zu lassen bittet. Im Detail:
- Nur dieselbe Domain. Links zu anderen Domains werden in den Ergebnissen aufgeführt, aber nicht gelesen.
- robots.txt zuerst. Seiten, die für
WebReaderAPIoder für alle Robots gesperrt sind, werden übersprungen und nicht berechnet. - Crawl-delay wird eingehalten. Falls die Seite einen setzt, wartet der Crawler entsprechend lange zwischen zwei Seiten, eine große Seite kann also länger dauern.
- Ihre Filter.
include_pathsundexclude_pathsnehmen einfache Muster wie/blog/*; nutzen Sie sie, um Tag-Seiten, Suchseiten und Archive zu vermeiden. - Duplikate entfernt. Dieselbe Seite, die über zwei URLs erreicht wird, etwa mit Tracking-Parametern, wird einmal gelesen, wenn die Seite eine kanonische URL angibt.
Sollte ich einen Crawl oder einen Batch verwenden?
Verwenden Sie einen Crawl, wenn Sie die Seite kennen, aber nicht die Seiten; verwenden Sie einen Batch, wenn Sie die Liste der URLs bereits haben. Ein Crawl entdeckt Seiten über die Sitemap und Links. Ein Batch liest genau die URLs, die Sie senden, bis zu 100 pro Job, über beliebig viele Seiten hinweg.
Für eine wöchentliche Aktualisierung einer Wissensdatenbank ist ein übliches Muster: ein Crawl, um den Index aufzubauen, dann Batches der Seiten, deren lastmod sich in der Sitemap geändert hat. So bleiben die wöchentlichen Kosten auf die Seiten beschränkt, die sich tatsächlich geändert haben.
Was kostet es, eine Seite zu crawlen?
Ein Credit pro gelesener Seite, zwei für Seiten, die einen Browser benötigt haben. Eine Dokumentationsseite mit 1.500 Seiten, die serverseitig rendert, kostet 1.500 Credits; dieselbe Seite als Single-Page-App kann bis zu 3.000 kosten.
Drei typische Jobs, Stand Oktober 2026: ein Produkthandbuch mit 300 Seiten passt in das 10.000 Seiten-Pack (3,75 $); zehn Dokumentationsseiten mit je 2.000 Seiten passen in 50.000 Seiten (14,25 $); ein Archiv mit 400.000 Seiten passt in 500.000 Seiten (50 $). Übersprungene und fehlgeschlagene Seiten sind kostenlos.
Welches Pack passt zu einem Crawl?
Bemessen Sie das Pack an der Anzahl der Seiten und geben Sie dann einen Puffer für Seiten hinzu, die einen Browser benötigen. Credits verfallen nie, der Rest dient also dem nächsten Crawl.
Starter
50.000 Seiten
14,25 $
0,28 $/1K Seiten
- Ein AI-Agent oder ein RAG-Prototyp
- Eine Dokumentationsseite crawlen
- Credits verfallen nie
Aufbauen
100.000 Seiten
21,75 $
0,22 $/1K Seiten
- Produktions-Agenten und RAG-Pipelines
- Batch- und Crawling-Jobs
- Credits verfallen nie
Skalieren
500.000 Seiten
50 $
0,10 $/1K Seiten
- Große Wissensdatenbanken
- Höhere Parallelität auf Anfrage
- Credits verfallen nie
In jedem Plan: Hauptinhalt extrahieren · JavaScript-Rendering bei Bedarf · Fehlgeschlagene und abgelehnte Seiten werden nicht berechnet · Credits verfallen nie
Crawl-API: häufige Fragen
Wie viele Seiten kann ein Crawl lesen?
Bis zu 10.000 Seiten pro Job, innerhalb der Domain der Start-URL. Teilen Sie eine größere Seite mit include_paths in mehrere Jobs auf, zum Beispiel einen pro Abschnitt.
Nutzt der Crawler die Sitemap?
Ja. Er liest die in der robots.txt aufgeführte oder an der üblichen Stelle liegende Sitemap und folgt dann Links auf den Seiten, die er liest. Seiten, die nur die Sitemap aufführt, werden trotzdem gelesen, wenn die robots.txt sie erlaubt.
Kann ich eine Seite crawlen, die KI-Crawler blockiert?
Nicht mit WebReaderAPI. Wenn die robots.txt unseren Crawler oder alle Robots sperrt, werden diese Seiten übersprungen und nicht berechnet. Wenn die Seite Content-Signal: ai-input=no angibt, lesen wir sie nicht für Sie. Wir versuchen nie, solche Entscheidungen zu umgehen.
Kann ich die Ergebnisse abrufen, während der Crawl noch läuft?
Ja. GET https://webreaderapi.com/api/v1/jobs/{job_id} liefert die bisher gelesenen Seiten mit einem Cursor; blättern Sie weiter, bis der Job done ist und kein Cursor mehr übrig ist.
Kann ein Crawl mehr Seiten lesen als mein Limit?
Nein. Credits werden Seite für Seite gezählt, und der Job stoppt, wenn er das von Ihnen gesetzte limit erreicht. Seiten, die er wegen der robots.txt überspringt, und Seiten, die fehlschlagen, verbrauchen keine Credits.