# Crawl-API: eine ganze Webseite in Markdown-Dateien umwandeln > Crawl-API, die eine ganze Webseite für RAG in Markdown umwandelt: bis zu 10.000 Seiten pro Job, Sitemap und robots.txt befolgt, ab 0,07 $/1K Seiten. Krypto. - URL: https://webreaderapi.com/de/crawl-api/ - Zuletzt aktualisiert: 2026-10-22 - Herausgeber: WebReaderAPI (https://webreaderapi.com) Geben Sie eine Start-URL und ein Seitenlimit an. Der Crawler folgt der Sitemap der Webseite und Links innerhalb derselben Domain, liest jede Seite als Markdown und liefert Ihnen die Ergebnisse Seite für Seite. Ein Credit pro Seite. **Kurze Antwort — Wie kann ich eine ganze Webseite crawlen und jede Seite als Markdown erhalten?** Nutzen Sie eine Crawl-API: Sie senden eine Start-URL und ein Limit, und sie liefert jede Seite der Webseite als Markdown zurück. **WebReaderAPI** crawlt bis zu 10.000 Seiten pro Job innerhalb einer Domain, befolgt Sitemap, robots.txt und Crawl-delay und berechnet einen Credit pro gelesener Seite, ab 0,07 $/1K Seiten Stand Oktober 2026. Seiten, die durch robots.txt abgelehnt werden, sind kostenlos. Ohne KYC; mit Krypto bezahlen. ## Crawl-API auf einen Blick | Attribut | Wert | | --- | --- | | Crawl starten | `POST https://webreaderapi.com/api/v1/crawl` mit `url`, `limit`, `max_depth`, `include_paths`, `exclude_paths` | | Ergebnisse abrufen | `GET https://webreaderapi.com/api/v1/jobs/{job_id}`, paginiert mit einem Cursor | | Umfang | Eine Website pro Job crawlen, bis zu 10.000 Seiten, entlang ihrer Sitemap, ihrer robots.txt und ihrer Crawl-delay | | Viele einzelne URLs | `POST https://webreaderapi.com/api/v1/batch`: Bis zu 100 URLs pro Batch-Job | | Abrechnung | 1 Credit = 1 gelesene Seite ohne Browser; 2 Credits, wenn die Seite einen Browser braucht, um JavaScript auszuführen. Eine Suchanfrage, die fehlschlägt oder die eine robots.txt einer Website verweigert, wird nicht abgerechnet | | Seiteninhaber | Wir respektieren robots.txt: Unser Crawler identifiziert sich als WebReaderAPI, befolgt die Regeln, die für ihn oder für alle Roboter geschrieben sind, und liest keine Seite, die eine Website nicht erlaubt. Verweigerte Seiten werden nicht abgerechnet | | Preis | 14,25 $ für 50.000 Seiten, 50 $ für 500.000 Seiten | ## Wie funktioniert ein Crawl-Job? Ein Crawl ist ein Hintergrund-Job, weil das Lesen hunderter Seiten länger dauert, als eine einzelne HTTP-Anfrage dauern sollte. 1. **Starten:** `POST https://webreaderapi.com/api/v1/crawl` mit der Start-URL und Ihren Limits. Sie erhalten sofort eine `job_id`. 2. **Entdecken:** Der Crawler liest die robots.txt und die Sitemap der Seite und folgt dann Links innerhalb derselben Domain, breadth first, bis zu `max_depth`. 3. **Lesen:** Jede erlaubte Seite wird mit denselben Optionen wie bei `/read` gelesen: Markdown, Hauptinhalt, Rendering bei Bedarf. 4. **Abholen:** Fragen Sie `GET https://webreaderapi.com/api/v1/jobs/{job_id}` ab und blättern Sie mit dem Cursor durch die Ergebnisse, während der Job läuft, oder einmal, wenn er `done` ist. Der Job stoppt bei Ihrem `limit`, Sie zahlen also nie für mehr Seiten, als Sie angefordert haben. *Python: eine Dokumentationsseite in Markdown-Dateien crawlen* ```python import os import pathlib import re import time import requests API = "https://webreaderapi.com/api/v1" HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]} job = requests.post( API + "/crawl", headers=HEADERS, json={"url": "https://docs.example.com/", "limit": 500, "max_depth": 4, "include_paths": ["/guide/*"]}, timeout=60, ).json() out = pathlib.Path("docs_md") out.mkdir(exist_ok=True) cursor, delay = None, 5 while True: params = {"cursor": cursor} if cursor else {} page = requests.get(API + "/jobs/" + job["job_id"], headers=HEADERS, params=params, timeout=60).json() for item in page.get("results", []): if "markdown" in item: name = re.sub(r"[^a-z0-9]+", "-", item["url"].lower()).strip("-")[:120] (out / (name + ".md")).write_text(item["markdown"], encoding="utf-8") cursor = page.get("next_cursor") if page["status"] == "done" and not cursor: break if not cursor: time.sleep(delay) delay = min(delay * 2, 60) print("credits used:", page.get("credits_used")) ``` ## Welche Seiten besucht der Crawler und welche überspringt er? Er bleibt innerhalb der Domain der Start-URL und überspringt alles, was die Seite Robots zu lassen bittet. Im Detail: - **Nur dieselbe Domain.** Links zu anderen Domains werden in den Ergebnissen aufgeführt, aber nicht gelesen. - **robots.txt zuerst.** Seiten, die für `WebReaderAPI` oder für alle Robots gesperrt sind, werden übersprungen und nicht berechnet. - **Crawl-delay wird eingehalten.** Falls die Seite einen setzt, wartet der Crawler entsprechend lange zwischen zwei Seiten, eine große Seite kann also länger dauern. - **Ihre Filter.** `include_paths` und `exclude_paths` nehmen einfache Muster wie `/blog/*`; nutzen Sie sie, um Tag-Seiten, Suchseiten und Archive zu vermeiden. - **Duplikate entfernt.** Dieselbe Seite, die über zwei URLs erreicht wird, etwa mit Tracking-Parametern, wird einmal gelesen, wenn die Seite eine kanonische URL angibt. ## Sollte ich einen Crawl oder einen Batch verwenden? Verwenden Sie einen Crawl, wenn Sie die Seite kennen, aber nicht die Seiten; verwenden Sie einen Batch, wenn Sie die Liste der URLs bereits haben. Ein Crawl entdeckt Seiten über die Sitemap und Links. Ein Batch liest genau die URLs, die Sie senden, bis zu 100 pro Job, über beliebig viele Seiten hinweg. Für eine wöchentliche Aktualisierung einer Wissensdatenbank ist ein übliches Muster: ein Crawl, um den Index aufzubauen, dann Batches der Seiten, deren `lastmod` sich in der Sitemap geändert hat. So bleiben die wöchentlichen Kosten auf die Seiten beschränkt, die sich tatsächlich geändert haben. ## Was kostet es, eine Seite zu crawlen? Ein Credit pro gelesener Seite, zwei für Seiten, die einen Browser benötigt haben. Eine Dokumentationsseite mit 1.500 Seiten, die serverseitig rendert, kostet 1.500 Credits; dieselbe Seite als Single-Page-App kann bis zu 3.000 kosten. Drei typische Jobs, Stand Oktober 2026: ein Produkthandbuch mit 300 Seiten passt in das 10.000 Seiten-Pack (3,75 $); zehn Dokumentationsseiten mit je 2.000 Seiten passen in 50.000 Seiten (14,25 $); ein Archiv mit 400.000 Seiten passt in 500.000 Seiten (50 $). Übersprungene und fehlgeschlagene Seiten sind kostenlos. ## Welches Pack passt zu einem Crawl? Bemessen Sie das Pack an der Anzahl der Seiten und geben Sie dann einen Puffer für Seiten hinzu, die einen Browser benötigen. Credits verfallen nie, der Rest dient also dem nächsten Crawl. | Plan | Menge | Preis | Preis pro Einheit | | --- | --- | --- | --- | | Test | 10.000 Seiten | 3,75 $ | 0,38 $/1K Seiten | | Starter | 50.000 Seiten | 14,25 $ | 0,28 $/1K Seiten | | Aufbauen | 100.000 Seiten | 21,75 $ | 0,22 $/1K Seiten | | Skalieren | 500.000 Seiten | 50 $ | 0,10 $/1K Seiten | In jedem Plan: Hauptinhalt extrahieren · JavaScript-Rendering bei Bedarf · Fehlgeschlagene und abgelehnte Seiten werden nicht berechnet · Credits verfallen nie **Bevor Sie bezahlen** - Mindestaufladung 25 $. Laden Sie einmal mit Krypto auf und kaufen Sie dann jeden beliebigen Plan aus Ihrem Guthaben. - Ihr Guthaben hat kein Ablaufdatum und Sie können jederzeit Seiten-Credits kaufen. Kostet ein Pack weniger als die Mindesteinzahlung, kann der Betrag, den Sie nur zum Erreichen dieses Minimums eingezahlt haben, auf Anfrage innerhalb von 30 Tagen nach der Zahlung in USDT oder USDC zurückgesendet werden, sofern Sie ihn nicht verbraucht haben. Jegliches andere Guthaben wird nicht erstattet, es sei denn, das Gesetz schreibt es vor. - Gutschrift, sobald Ihre Zahlung auf der Blockchain geprüft ist. Typische Bestätigungszeit des Netzwerks: BTC ≈ 20 Min. · USDT TRC-20 ≈ 1 Min. · USDT ERC-20 ≈ 5 Min. · USDC ERC-20 ≈ 5 Min. · ETH ≈ 5 Min. · SOL ≈ 1 Min. · LTC ≈ 15 Min. ## Crawl-API: häufige Fragen ### Wie viele Seiten kann ein Crawl lesen? Bis zu 10.000 Seiten pro Job, innerhalb der Domain der Start-URL. Teilen Sie eine größere Seite mit `include_paths` in mehrere Jobs auf, zum Beispiel einen pro Abschnitt. ### Nutzt der Crawler die Sitemap? Ja. Er liest die in der robots.txt aufgeführte oder an der üblichen Stelle liegende Sitemap und folgt dann Links auf den Seiten, die er liest. Seiten, die nur die Sitemap aufführt, werden trotzdem gelesen, wenn die robots.txt sie erlaubt. ### Kann ich eine Seite crawlen, die KI-Crawler blockiert? Nicht mit WebReaderAPI. Wenn die robots.txt unseren Crawler oder alle Robots sperrt, werden diese Seiten übersprungen und nicht berechnet. Wenn die Seite `Content-Signal: ai-input=no` angibt, lesen wir sie nicht für Sie. Wir versuchen nie, solche Entscheidungen zu umgehen. ### Kann ich die Ergebnisse abrufen, während der Crawl noch läuft? Ja. `GET https://webreaderapi.com/api/v1/jobs/{job_id}` liefert die bisher gelesenen Seiten mit einem Cursor; blättern Sie weiter, bis der Job `done` ist und kein Cursor mehr übrig ist. ### Kann ein Crawl mehr Seiten lesen als mein Limit? Nein. Credits werden Seite für Seite gezählt, und der Job stoppt, wenn er das von Ihnen gesetzte `limit` erreicht. Seiten, die er wegen der robots.txt überspringt, und Seiten, die fehlschlagen, verbrauchen keine Credits. --- WebReaderAPI: WebReaderAPI ist eine Web-Reader-API für KI-Agenten, die jede öffentliche Webseite in sauberes Markdown umwandelt und die Sie mit Krypto bezahlen – ohne ID-Upload. Prepaid-Credits ab 0,07 $/1K Seiten verfallen nie, und robots.txt wird respektiert. Ohne KYC – keine ID, kein Selfie, keine Dokumente. Mit Krypto bezahlen.