Test
10.000 Seiten
3,75 $
0,38 $/1K Seiten
- Testen Sie es mit Ihren echten URLs
- Dieselbe API wie beim größten Paket
- Credits verfallen nie
Kurze Antwort
Wie nehme ich Webseiten in eine RAG-Pipeline auf?
Lesen Sie jede Seite als Markdown ihres Hauptinhalts, teilen Sie sie entlang ihrer Überschriften auf, hängen Sie die Quell-URL und den Titel an jeden Chunk, und betten Sie sie dann ein und speichern Sie sie. WebReaderAPI übernimmt das Lesen: eine Anfrage pro Seite oder ein Crawl-Job für eine ganze Website mit bis zu 10.000 Seiten, zu einem Credit pro Seite ab 0,07 $/1K Seiten mit Stand Oktober 2026. robots.txt wird respektiert. Ohne KYC; mit Krypto bezahlen.
RAG-Aufnahme mit WebReaderAPI
| Ganze Website | POST https://webreaderapi.com/api/v1/crawl: Eine Website pro Job crawlen, bis zu 10.000 Seiten, entlang ihrer Sitemap, ihrer robots.txt und ihrer Crawl-delay |
|---|---|
| Liste von URLs | POST https://webreaderapi.com/api/v1/batch: Bis zu 100 URLs pro Batch-Job |
| Pro Seite | Markdown des Hauptinhalts, Titel, Autor, Datum, Sprache, Wortanzahl |
| PDFs | PDF-Dateien bis 20 MB und 100 Seiten werden in Markdown umgewandelt, zu 1 Credit pro angefangenem Block von 10 Seiten |
| Abrechnung | 1 Credit = 1 gelesene Seite ohne Browser; 2 Credits, wenn die Seite einen Browser braucht, um JavaScript auszuführen. Eine Suchanfrage, die fehlschlägt oder die eine robots.txt einer Website verweigert, wird nicht abgerechnet |
| Preis | 14,25 $ für 50.000 Seiten; Credits laufen nie ab |
Warum liefert sauberes Markdown besseres Retrieval?
Chunks aus Boilerplate lassen sich schlecht wiederfinden. Wenn eine Seite geteilt wird, während ihre Menüs, Cookie-Texte und Footer noch enthalten sind, enthalten viele Chunks dieselben Navigationswörter, und die Vektorsuche liefert sie für unzusammenhängende Fragen. Die Extraktion des Hauptinhalts entfernt dieses Rauschen, bevor Sie einbetten.
Überschriften zählen genauso viel. Ein Chunk, der mit ## Refund policy beginnt, trägt sein Thema mit sich, sodass sowohl das Embedding als auch das Modell, das ihn später liest, wissen, worum es geht. Reiner Text verliert dieses Signal; rohes HTML verbirgt es unter Markup.
Wie sieht eine Aufnahme-Pipeline aus?
Fünf Schritte, unabhängig davon, welchen Vektorspeicher Sie verwenden:
- URLs sammeln. Crawlen Sie die Seite oder senden Sie die Liste, die Sie bereits haben, als Batch.
- Als Markdown lesen. Behalten Sie
main_content=truefür Artikel und Docs; verwenden Siefalsefür Listing-Seiten. - Nach Überschriften aufteilen. Teilen Sie an
#,##und###, dann kürzen Sie lange Abschnitte auf Ihr Größenlimit mit kleiner Überlappung. - Metadaten anhängen. Speichern Sie
url,title,published_atund den Überschriftenpfad mit jedem Chunk, damit Antworten ihre Quelle zitieren können. - Aktualisieren. Lesen Sie Seiten erneut, deren Sitemap-
lastmodsich geändert hat, und löschen Sie Chunks von Seiten, die jetzt einen Fehler zurückgeben.
import os
import re
import requests
API = "https://webreaderapi.com/api/v1/read"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}
URLS = [
"https://docs.example.com/getting-started",
"https://docs.example.com/billing",
]
def chunks_for(url, max_len=2000):
page = requests.get(API, headers=HEADERS, params={"url": url}, timeout=90).json()
if "markdown" not in page:
return []
out = []
for section in re.split(r"\n(?=#{1,3} )", page["markdown"]):
section = section.strip()
heading = section.splitlines()[0] if section else ""
for start in range(0, len(section), max_len):
out.append({
"text": section[start:start + max_len],
"url": page.get("final_url", url),
"title": page.get("title"),
"heading": heading,
})
return out
all_chunks = [c for u in URLS for c in chunks_for(u)]
print(len(all_chunks), "chunks ready to embed")
Was kostet es, einen Index zu erstellen und zu aktualisieren?
Das Erstellen kostet einen Credit pro Seite, zwei für Seiten, die einen Browser benötigen. Die Aktualisierung kostet nur die Seiten, die Sie erneut lesen. Drei Beispiele zu den Preisen von Oktober 2026:
- Das Help-Center eines Produkts mit 800 Seiten, monatlich für geänderte Seiten aktualisiert (etwa 10 %): einmalig 800 Credits, dann etwa 80 pro Monat. 10.000 Seiten (3,75 $) reichen für Jahre.
- Zehn Dokumentationsseiten mit je 2.000 Seiten, wöchentlich zu 5 % aktualisiert: 20.000 Credits, dann etwa 4.000 pro Monat. 50.000 Seiten (14,25 $) decken den Aufbau und sieben Monate an Aktualisierungen ab.
- Ein Nachrichtenarchiv mit 300.000 Artikeln, die sich nie ändern: einmalig 300.000 Credits, die in 500.000 Seiten (50 $) passen.
Embedding und Speicherung werden von Ihren eigenen Anbietern berechnet und sind nicht enthalten.
Kann ich Seiten indexieren, die nicht indexiert werden wollen?
Nicht über WebReaderAPI. Seiten, die durch robots.txt für unseren Crawler oder für alle Robots gesperrt sind, werden übersprungen und nicht berechnet; Seiten, die Content-Signal: ai-input=no deklarieren, werden nicht für Sie gelesen. Für Ihre eigenen Seiten oder Partnerseiten, die Robots blockieren, bitten Sie den Eigentümer, WebReaderAPI in robots.txt zu erlauben; unsere Crawler-Seite zeigt die Zeilen, die hinzugefügt werden müssen.
Das ist auch für Ihre Nutzer wichtig. Ein RAG-Assistent, der Quellen zitiert, ist nützlicher, wenn diese Quellen dem Gelesenwerden zugestimmt haben.
Welches Pack passt zu einem RAG-Projekt?
Zählen Sie die Seiten für den Aufbau des Index, addieren Sie die monatliche Aktualisierung und wählen Sie das Pack, das einige Monate abdeckt. Credits verfallen nie.
Starter
50.000 Seiten
14,25 $
0,28 $/1K Seiten
- Ein AI-Agent oder ein RAG-Prototyp
- Eine Dokumentationsseite crawlen
- Credits verfallen nie
Aufbauen
100.000 Seiten
21,75 $
0,22 $/1K Seiten
- Produktions-Agenten und RAG-Pipelines
- Batch- und Crawling-Jobs
- Credits verfallen nie
Skalieren
500.000 Seiten
50 $
0,10 $/1K Seiten
- Große Wissensdatenbanken
- Höhere Parallelität auf Anfrage
- Credits verfallen nie
In jedem Plan: Hauptinhalt extrahieren · JavaScript-Rendering bei Bedarf · Fehlgeschlagene und abgelehnte Seiten werden nicht berechnet · Credits verfallen nie
RAG-Ingestion: häufige Fragen
Welche Chunk-Größe sollte ich verwenden?
Teilen Sie zuerst an Überschriften auf, dann kürzen Sie Abschnitte, die länger als etwa 500 bis 1.000 Tokens sind, mit kleiner Überlappung. Chunks auf Basis von Überschriften behalten je ein Thema, was in der Regel bessere Retrieval-Ergebnisse liefert als Fenster fester Größe über die ganze Seite.
Erstellt WebReaderAPI Embeddings oder speichert Vektoren?
Nein. WebReaderAPI liest Seiten und gibt Markdown mit Metadaten zurück. Sie erstellen Embeddings mit dem Modell Ihrer Wahl und speichern in Ihrer eigenen Vektordatenbank; die LangChain- und LlamaIndex-Seite zeigt beides.
Wie halte ich den Index aktuell?
Lesen Sie nur die Seiten erneut, die sich geändert haben. Die meisten Sitemaps enthalten ein lastmod-Datum pro URL; vergleichen Sie es mit Ihrem letzten Lesen und senden Sie die geänderten URLs als Batch. Seiten, die jetzt fehlschlagen, sollten aus dem Index entfernt werden.
Kann ich PDFs derselben Seite einbeziehen?
Ja. Ein Crawl liest PDF-Links auf derselben Domain mit denselben robots.txt-Prüfungen. PDF-Dateien bis 20 MB und 100 Seiten werden in Markdown umgewandelt, zu 1 Credit pro angefangenem Block von 10 Seiten.