# Webseiten für RAG: Websites in sauberes, chunkbares Markdown umwandeln > RAG-Pipelines mit Webseiten befüllen: Crawlen Sie Dokumentationen in sauberes Markdown, chunken Sie nach Überschrift. Ab 0,07 $/1K Seiten, ohne KYC. - URL: https://webreaderapi.com/de/use-cases/rag/ - Zuletzt aktualisiert: 2026-10-22 - Herausgeber: WebReaderAPI (https://webreaderapi.com) Retrieval arbeitet mit dem, was Sie in den Index legen. Sauberes Markdown mit Überschriften, Metadaten und einer Quell-URL ergibt bessere Chunks, weniger verschwendete Tokens und Antworten, die ihre Seite zitieren können. **Kurze Antwort — Wie nehme ich Webseiten in eine RAG-Pipeline auf?** Lesen Sie jede Seite als Markdown ihres Hauptinhalts, teilen Sie sie entlang ihrer Überschriften auf, hängen Sie die Quell-URL und den Titel an jeden Chunk, und betten Sie sie dann ein und speichern Sie sie. **WebReaderAPI** übernimmt das Lesen: eine Anfrage pro Seite oder ein Crawl-Job für eine ganze Website mit bis zu 10.000 Seiten, zu einem Credit pro Seite ab 0,07 $/1K Seiten mit Stand Oktober 2026. robots.txt wird respektiert. Ohne KYC; mit Krypto bezahlen. ## RAG-Aufnahme mit WebReaderAPI | Attribut | Wert | | --- | --- | | Ganze Website | `POST https://webreaderapi.com/api/v1/crawl`: Eine Website pro Job crawlen, bis zu 10.000 Seiten, entlang ihrer Sitemap, ihrer robots.txt und ihrer Crawl-delay | | Liste von URLs | `POST https://webreaderapi.com/api/v1/batch`: Bis zu 100 URLs pro Batch-Job | | Pro Seite | Markdown des Hauptinhalts, Titel, Autor, Datum, Sprache, Wortanzahl | | PDFs | PDF-Dateien bis 20 MB und 100 Seiten werden in Markdown umgewandelt, zu 1 Credit pro angefangenem Block von 10 Seiten | | Abrechnung | 1 Credit = 1 gelesene Seite ohne Browser; 2 Credits, wenn die Seite einen Browser braucht, um JavaScript auszuführen. Eine Suchanfrage, die fehlschlägt oder die eine robots.txt einer Website verweigert, wird nicht abgerechnet | | Preis | 14,25 $ für 50.000 Seiten; Credits laufen nie ab | ## Warum liefert sauberes Markdown besseres Retrieval? Chunks aus Boilerplate lassen sich schlecht wiederfinden. Wenn eine Seite geteilt wird, während ihre Menüs, Cookie-Texte und Footer noch enthalten sind, enthalten viele Chunks dieselben Navigationswörter, und die Vektorsuche liefert sie für unzusammenhängende Fragen. Die Extraktion des Hauptinhalts entfernt dieses Rauschen, bevor Sie einbetten. Überschriften zählen genauso viel. Ein Chunk, der mit `## Refund policy` beginnt, trägt sein Thema mit sich, sodass sowohl das Embedding als auch das Modell, das ihn später liest, wissen, worum es geht. Reiner Text verliert dieses Signal; rohes HTML verbirgt es unter Markup. ## Wie sieht eine Aufnahme-Pipeline aus? Fünf Schritte, unabhängig davon, welchen Vektorspeicher Sie verwenden: 1. **URLs sammeln.** Crawlen Sie die Seite oder senden Sie die Liste, die Sie bereits haben, als Batch. 2. **Als Markdown lesen.** Behalten Sie `main_content=true` für Artikel und Docs; verwenden Sie `false` für Listing-Seiten. 3. **Nach Überschriften aufteilen.** Teilen Sie an `#`, `##` und `###`, dann kürzen Sie lange Abschnitte auf Ihr Größenlimit mit kleiner Überlappung. 4. **Metadaten anhängen.** Speichern Sie `url`, `title`, `published_at` und den Überschriftenpfad mit jedem Chunk, damit Antworten ihre Quelle zitieren können. 5. **Aktualisieren.** Lesen Sie Seiten erneut, deren Sitemap-`lastmod` sich geändert hat, und löschen Sie Chunks von Seiten, die jetzt einen Fehler zurückgeben. *Python: Seiten lesen und mit ihrer Quelle in Chunks aufteilen* ```python import os import re import requests API = "https://webreaderapi.com/api/v1/read" HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]} URLS = [ "https://docs.example.com/getting-started", "https://docs.example.com/billing", ] def chunks_for(url, max_len=2000): page = requests.get(API, headers=HEADERS, params={"url": url}, timeout=90).json() if "markdown" not in page: return [] out = [] for section in re.split(r"\n(?=#{1,3} )", page["markdown"]): section = section.strip() heading = section.splitlines()[0] if section else "" for start in range(0, len(section), max_len): out.append({ "text": section[start:start + max_len], "url": page.get("final_url", url), "title": page.get("title"), "heading": heading, }) return out all_chunks = [c for u in URLS for c in chunks_for(u)] print(len(all_chunks), "chunks ready to embed") ``` ## Was kostet es, einen Index zu erstellen und zu aktualisieren? Das Erstellen kostet einen Credit pro Seite, zwei für Seiten, die einen Browser benötigen. Die Aktualisierung kostet nur die Seiten, die Sie erneut lesen. Drei Beispiele zu den Preisen von Oktober 2026: - **Das Help-Center eines Produkts** mit 800 Seiten, monatlich für geänderte Seiten aktualisiert (etwa 10 %): einmalig 800 Credits, dann etwa 80 pro Monat. 10.000 Seiten (3,75 $) reichen für Jahre. - **Zehn Dokumentationsseiten** mit je 2.000 Seiten, wöchentlich zu 5 % aktualisiert: 20.000 Credits, dann etwa 4.000 pro Monat. 50.000 Seiten (14,25 $) decken den Aufbau und sieben Monate an Aktualisierungen ab. - **Ein Nachrichtenarchiv** mit 300.000 Artikeln, die sich nie ändern: einmalig 300.000 Credits, die in 500.000 Seiten (50 $) passen. Embedding und Speicherung werden von Ihren eigenen Anbietern berechnet und sind nicht enthalten. ## Kann ich Seiten indexieren, die nicht indexiert werden wollen? Nicht über WebReaderAPI. Seiten, die durch robots.txt für unseren Crawler oder für alle Robots gesperrt sind, werden übersprungen und nicht berechnet; Seiten, die `Content-Signal: ai-input=no` deklarieren, werden nicht für Sie gelesen. Für Ihre eigenen Seiten oder Partnerseiten, die Robots blockieren, bitten Sie den Eigentümer, `WebReaderAPI` in robots.txt zu erlauben; unsere [Crawler-Seite](https://webreaderapi.com/de/bot/) zeigt die Zeilen, die hinzugefügt werden müssen. Das ist auch für Ihre Nutzer wichtig. Ein RAG-Assistent, der Quellen zitiert, ist nützlicher, wenn diese Quellen dem Gelesenwerden zugestimmt haben. ## Welches Pack passt zu einem RAG-Projekt? Zählen Sie die Seiten für den Aufbau des Index, addieren Sie die monatliche Aktualisierung und wählen Sie das Pack, das einige Monate abdeckt. Credits verfallen nie. | Plan | Menge | Preis | Preis pro Einheit | | --- | --- | --- | --- | | Test | 10.000 Seiten | 3,75 $ | 0,38 $/1K Seiten | | Starter | 50.000 Seiten | 14,25 $ | 0,28 $/1K Seiten | | Aufbauen | 100.000 Seiten | 21,75 $ | 0,22 $/1K Seiten | | Skalieren | 500.000 Seiten | 50 $ | 0,10 $/1K Seiten | In jedem Plan: Hauptinhalt extrahieren · JavaScript-Rendering bei Bedarf · Fehlgeschlagene und abgelehnte Seiten werden nicht berechnet · Credits verfallen nie **Bevor Sie bezahlen** - Mindestaufladung 25 $. Laden Sie einmal mit Krypto auf und kaufen Sie dann jeden beliebigen Plan aus Ihrem Guthaben. - Ihr Guthaben hat kein Ablaufdatum und Sie können jederzeit Seiten-Credits kaufen. Kostet ein Pack weniger als die Mindesteinzahlung, kann der Betrag, den Sie nur zum Erreichen dieses Minimums eingezahlt haben, auf Anfrage innerhalb von 30 Tagen nach der Zahlung in USDT oder USDC zurückgesendet werden, sofern Sie ihn nicht verbraucht haben. Jegliches andere Guthaben wird nicht erstattet, es sei denn, das Gesetz schreibt es vor. - Gutschrift, sobald Ihre Zahlung auf der Blockchain geprüft ist. Typische Bestätigungszeit des Netzwerks: BTC ≈ 20 Min. · USDT TRC-20 ≈ 1 Min. · USDT ERC-20 ≈ 5 Min. · USDC ERC-20 ≈ 5 Min. · ETH ≈ 5 Min. · SOL ≈ 1 Min. · LTC ≈ 15 Min. ## RAG-Ingestion: häufige Fragen ### Welche Chunk-Größe sollte ich verwenden? Teilen Sie zuerst an Überschriften auf, dann kürzen Sie Abschnitte, die länger als etwa 500 bis 1.000 Tokens sind, mit kleiner Überlappung. Chunks auf Basis von Überschriften behalten je ein Thema, was in der Regel bessere Retrieval-Ergebnisse liefert als Fenster fester Größe über die ganze Seite. ### Erstellt WebReaderAPI Embeddings oder speichert Vektoren? Nein. WebReaderAPI liest Seiten und gibt Markdown mit Metadaten zurück. Sie erstellen Embeddings mit dem Modell Ihrer Wahl und speichern in Ihrer eigenen Vektordatenbank; die [LangChain- und LlamaIndex-Seite](https://webreaderapi.com/de/docs/langchain/) zeigt beides. ### Wie halte ich den Index aktuell? Lesen Sie nur die Seiten erneut, die sich geändert haben. Die meisten Sitemaps enthalten ein `lastmod`-Datum pro URL; vergleichen Sie es mit Ihrem letzten Lesen und senden Sie die geänderten URLs als Batch. Seiten, die jetzt fehlschlagen, sollten aus dem Index entfernt werden. ### Kann ich PDFs derselben Seite einbeziehen? Ja. Ein Crawl liest PDF-Links auf derselben Domain mit denselben robots.txt-Prüfungen. PDF-Dateien bis 20 MB und 100 Seiten werden in Markdown umgewandelt, zu 1 Credit pro angefangenem Block von 10 Seiten. --- WebReaderAPI: WebReaderAPI ist eine Web-Reader-API für KI-Agenten, die jede öffentliche Webseite in sauberes Markdown umwandelt und die Sie mit Krypto bezahlen – ohne ID-Upload. Prepaid-Credits ab 0,07 $/1K Seiten verfallen nie, und robots.txt wird respektiert. Ohne KYC – keine ID, kein Selfie, keine Dokumente. Mit Krypto bezahlen.