Test
10.000 pagina's
US$ 3,75
US$ 0,38/1K pagina's
- Probeer het op je eigen URL's
- Dezelfde API als het grootste pack
- Credits verlopen nooit
Kort antwoord
Hoe voeg ik webpagina's toe aan een RAG-pipeline?
Lees elke pagina als Markdown van de hoofdinhoud, splits die langs de koppen, voeg de bron-URL en titel toe aan elke chunk en embed en sla ze dan op. WebReaderAPI regelt het lezen: één request per pagina, of één crawl job voor een hele site tot 10.000 pagina's, tegen één credit per pagina vanaf US$ 0,07/1K pagina's per oktober 2026. robots.txt wordt gerespecteerd. Zonder KYC; betalen met crypto.
RAG-ingestion met WebReaderAPI
| Hele site | POST https://webreaderapi.com/api/v1/crawl: Crawl één website per job, tot 10.000 pagina's, volgens de sitemap, de robots.txt en de Crawl-delay |
|---|---|
| Lijst met URL's | POST https://webreaderapi.com/api/v1/batch: Tot 100 URL's per batch-job |
| Per pagina | Markdown van de hoofdinhoud, titel, auteur, datum, taal, woordaantal |
| PDF's | PDF-bestanden tot 20 MB en 100 pagina's worden omgezet naar Markdown, voor 1 credit per begonnen blok van 10 pagina's |
| Facturering | 1 credit = 1 pagina lezen zonder browser; 2 credits wanneer de pagina een browser nodig heeft om JavaScript te renderen. Een verzoek dat mislukt, of dat de robots.txt van een site weigert, wordt niet in rekening gebracht |
| Prijs | US$ 14,25 voor 50.000 pagina's; credits verlopen nooit |
Waarom geeft schone Markdown betere retrieval?
Chunks vol boilerplate worden slecht teruggevonden. Als een pagina wordt gesplitst terwijl de menu's, cookietekst en footer er nog in staan, bevatten veel chunks dezelfde navigatiewoorden, en de vector search geeft ze terug bij ongerelateerde vragen. Extractie van de hoofdinhoud haalt die ruis weg voordat je embedt.
Koppen zijn net zo belangrijk. Een chunk die begint met ## Refund policy draagt het onderwerp met zich mee, zodat zowel de embedding als het model dat het later leest weet waar het over gaat. Platte tekst verliest dat signaal; ruwe HTML verbergt het onder markup.
Hoe ziet een ingestion-pipeline eruit?
Vijf stappen, ongeacht welke vector store je gebruikt:
- Verzamel URL's. Crawl de site, of stuur de lijst die je al hebt als batch.
- Lees als Markdown. Houd
main_content=truevoor artikelen en docs; gebruikfalsevoor overzichtspagina's. - Splits op kop. Deel op
#,##en###, en knip lange secties tot je limiet met een kleine overlap. - Voeg metadata toe. Bewaar
url,title,published_aten het koppad bij elk chunk, zodat antwoorden hun bron kunnen citeren. - Ververs. Lees pagina's opnieuw waarvan de sitemap
lastmodis gewijzigd, en verwijder chunks van pagina's die nu een fout teruggeven.
import os
import re
import requests
API = "https://webreaderapi.com/api/v1/read"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}
URLS = [
"https://docs.example.com/getting-started",
"https://docs.example.com/billing",
]
def chunks_for(url, max_len=2000):
page = requests.get(API, headers=HEADERS, params={"url": url}, timeout=90).json()
if "markdown" not in page:
return []
out = []
for section in re.split(r"\n(?=#{1,3} )", page["markdown"]):
section = section.strip()
heading = section.splitlines()[0] if section else ""
for start in range(0, len(section), max_len):
out.append({
"text": section[start:start + max_len],
"url": page.get("final_url", url),
"title": page.get("title"),
"heading": heading,
})
return out
all_chunks = [c for u in URLS for c in chunks_for(u)]
print(len(all_chunks), "chunks ready to embed")
Hoeveel kost het om een index op te bouwen en te verversen?
Opbouwen kost één credit per pagina, twee voor pagina's die een browser nodig hebben. Verversen kost alleen de pagina's die je opnieuw leest. Drie voorbeelden, tegen de prijzen van oktober 2026:
- Het helpcentrum van een product van 800 pagina's, maandelijks verversd voor gewijzigde pagina's (ongeveer 10%): eenmalig 800 credits, daarna ongeveer 80 per maand. 10.000 pagina's (US$ 3,75) gaan jaren mee.
- Tien documentatiesites van elk 2.000 pagina's, wekelijks verversd tegen 5%: 20.000 credits, daarna ongeveer 4.000 per maand. 50.000 pagina's (US$ 14,25) dekken de opbouw en zeven maanden verversen.
- Een nieuwsarchief van 300.000 artikelen die nooit veranderen: eenmalig 300.000 credits, dat past in 500.000 pagina's (US$ 50).
Embedding en opslag worden gefactureerd door je eigen providers en zijn niet inbegrepen.
Kan ik sites indexeren die niet geïndexeerd willen worden?
Niet via WebReaderAPI. Pagina's die door robots.txt verboden zijn voor onze crawler, of voor alle robots, worden overgeslagen en niet gefactureerd; sites die Content-Signal: ai-input=no aangeven, worden niet voor je gelezen. Voor je eigen sites of partnersites die robots blokkeren, vraag de eigenaar om WebReaderAPI toe te staan in robots.txt; onze crawlerpagina toont de regels die je moet toevoegen.
Dit is ook belangrijk voor je gebruikers. Een RAG-assistent die bronnen citeert, is nuttiger wanneer die bronnen ermee instemden om gelezen te worden.
Welk pack past bij een RAG-project?
Tel de pagina's om de index op te bouwen, tel het maandelijkse verversen erbij op, en kies het pack dat een paar maanden dekt. Credits verlopen nooit.
Starter
50.000 pagina's
US$ 14,25
US$ 0,28/1K pagina's
- Een AI-agent of een RAG-prototype
- Crawlen door een documentatiesite
- Credits verlopen nooit
Build
100.000 pagina's
US$ 21,75
US$ 0,22/1K pagina's
- Productie-agents en RAG-pipelines
- Batch- en crawl-taken
- Credits verlopen nooit
Scale
500.000 pagina's
US$ 50
US$ 0,10/1K pagina's
- Grote knowledge bases
- Hogere concurrency op aanvraag
- Credits verlopen nooit
In elk plan: Hoofdinhoud extraheren · JavaScript rendering wanneer nodig · Mislukte en geweigerde pagina's niet in rekening gebracht · Credits verlopen nooit
RAG-ingestion: veelgestelde vragen
Welke chunkgrootte moet ik gebruiken?
Splits eerst op koppen en knip daarna secties langer dan ongeveer 500 tot 1.000 tokens met een kleine overlap. Chunks op basis van koppen houden elk één onderwerp, wat meestal beter retrievet dan vensters van vaste grootte over de hele pagina.
Maakt WebReaderAPI embeddings of slaat het vectoren op?
Nee. WebReaderAPI leest pagina's en geeft Markdown met metadata terug. Je maakt embeddings met het model van je keuze en slaat ze op in je eigen vector database; de LangChain- en LlamaIndex-pagina toont beide.
Hoe houd ik de index up-to-date?
Lees alleen de pagina's opnieuw die zijn gewijzigd. De meeste sitemaps bevatten een lastmod-datum per URL; vergelijk die met je laatste lezing en stuur de gewijzigde URL's als batch. Pagina's die nu mislukken, horen uit de index verwijderd te worden.
Kan ik PDF's van dezelfde site meenemen?
Ja. Een crawl leest PDF-links op hetzelfde domein met dezelfde robots.txt-controles. PDF-bestanden tot 20 MB en 100 pagina's worden omgezet naar Markdown, voor 1 credit per begonnen blok van 10 pagina's.