# Webpagina's voor RAG: zet sites om in schone, chunkbare Markdown

> WebReaderAPI crawlt docs en blogs naar schone Markdown, chunk per kop en behoudt bron-URL's. Vanaf US$ 0,07/1K pagina's, zonder KYC, betalen met crypto.

- URL: https://webreaderapi.com/nl/use-cases/rag/
- Laatst bijgewerkt: 2026-10-22
- Uitgever: WebReaderAPI (https://webreaderapi.com)

Retrieval werkt op wat je in de index stopt. Schone Markdown met koppen, metadata en een bron-URL geeft betere chunks, minder verspilde tokens en antwoorden die hun pagina kunnen citeren.

**Kort antwoord — Hoe voeg ik webpagina's toe aan een RAG-pipeline?**

Lees elke pagina als Markdown van de hoofdinhoud, splits die langs de koppen, voeg de bron-URL en titel toe aan elke chunk en embed en sla ze dan op. **WebReaderAPI** regelt het lezen: één request per pagina, of één crawl job voor een hele site tot 10.000 pagina's, tegen één credit per pagina vanaf US$ 0,07/1K pagina's per oktober 2026. robots.txt wordt gerespecteerd. Zonder KYC; betalen met crypto.

## RAG-ingestion met WebReaderAPI

| Kenmerk | Waarde |
| --- | --- |
| Hele site | `POST https://webreaderapi.com/api/v1/crawl`: Crawl één website per job, tot 10.000 pagina's, volgens de sitemap, de robots.txt en de Crawl-delay |
| Lijst met URL's | `POST https://webreaderapi.com/api/v1/batch`: Tot 100 URL's per batch-job |
| Per pagina | Markdown van de hoofdinhoud, titel, auteur, datum, taal, woordaantal |
| PDF's | PDF-bestanden tot 20 MB en 100 pagina's worden omgezet naar Markdown, voor 1 credit per begonnen blok van 10 pagina's |
| Facturering | 1 credit = 1 pagina lezen zonder browser; 2 credits wanneer de pagina een browser nodig heeft om JavaScript te renderen. Een verzoek dat mislukt, of dat de robots.txt van een site weigert, wordt niet in rekening gebracht |
| Prijs | US$ 14,25 voor 50.000 pagina's; credits verlopen nooit |

## Waarom geeft schone Markdown betere retrieval?

Chunks vol boilerplate worden slecht teruggevonden. Als een pagina wordt gesplitst terwijl de menu's, cookietekst en footer er nog in staan, bevatten veel chunks dezelfde navigatiewoorden, en de vector search geeft ze terug bij ongerelateerde vragen. Extractie van de hoofdinhoud haalt die ruis weg voordat je embedt.

Koppen zijn net zo belangrijk. Een chunk die begint met `## Refund policy` draagt het onderwerp met zich mee, zodat zowel de embedding als het model dat het later leest weet waar het over gaat. Platte tekst verliest dat signaal; ruwe HTML verbergt het onder markup.

## Hoe ziet een ingestion-pipeline eruit?

Vijf stappen, ongeacht welke vector store je gebruikt:

1. **Verzamel URL's.** Crawl de site, of stuur de lijst die je al hebt als batch.
2. **Lees als Markdown.** Houd `main_content=true` voor artikelen en docs; gebruik `false` voor overzichtspagina's.
3. **Splits op kop.** Deel op `#`, `##` en `###`, en knip lange secties tot je limiet met een kleine overlap.
4. **Voeg metadata toe.** Bewaar `url`, `title`, `published_at` en het koppad bij elk chunk, zodat antwoorden hun bron kunnen citeren.
5. **Ververs.** Lees pagina's opnieuw waarvan de sitemap `lastmod` is gewijzigd, en verwijder chunks van pagina's die nu een fout teruggeven.

*Python: lees pagina's en splits ze in chunks met hun bron*

```python
import os
import re

import requests

API = "https://webreaderapi.com/api/v1/read"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}
URLS = [
    "https://docs.example.com/getting-started",
    "https://docs.example.com/billing",
]


def chunks_for(url, max_len=2000):
    page = requests.get(API, headers=HEADERS, params={"url": url}, timeout=90).json()
    if "markdown" not in page:
        return []
    out = []
    for section in re.split(r"\n(?=#{1,3} )", page["markdown"]):
        section = section.strip()
        heading = section.splitlines()[0] if section else ""
        for start in range(0, len(section), max_len):
            out.append({
                "text": section[start:start + max_len],
                "url": page.get("final_url", url),
                "title": page.get("title"),
                "heading": heading,
            })
    return out


all_chunks = [c for u in URLS for c in chunks_for(u)]
print(len(all_chunks), "chunks ready to embed")

```

## Hoeveel kost het om een index op te bouwen en te verversen?

Opbouwen kost één credit per pagina, twee voor pagina's die een browser nodig hebben. Verversen kost alleen de pagina's die je opnieuw leest. Drie voorbeelden, tegen de prijzen van oktober 2026:

- **Het helpcentrum van een product** van 800 pagina's, maandelijks verversd voor gewijzigde pagina's (ongeveer 10%): eenmalig 800 credits, daarna ongeveer 80 per maand. 10.000 pagina's (US$ 3,75) gaan jaren mee.
- **Tien documentatiesites** van elk 2.000 pagina's, wekelijks verversd tegen 5%: 20.000 credits, daarna ongeveer 4.000 per maand. 50.000 pagina's (US$ 14,25) dekken de opbouw en zeven maanden verversen.
- **Een nieuwsarchief** van 300.000 artikelen die nooit veranderen: eenmalig 300.000 credits, dat past in 500.000 pagina's (US$ 50).

Embedding en opslag worden gefactureerd door je eigen providers en zijn niet inbegrepen.

## Kan ik sites indexeren die niet geïndexeerd willen worden?

Niet via WebReaderAPI. Pagina's die door robots.txt verboden zijn voor onze crawler, of voor alle robots, worden overgeslagen en niet gefactureerd; sites die `Content-Signal: ai-input=no` aangeven, worden niet voor je gelezen. Voor je eigen sites of partnersites die robots blokkeren, vraag de eigenaar om `WebReaderAPI` toe te staan in robots.txt; onze [crawlerpagina](https://webreaderapi.com/nl/bot/) toont de regels die je moet toevoegen.

Dit is ook belangrijk voor je gebruikers. Een RAG-assistent die bronnen citeert, is nuttiger wanneer die bronnen ermee instemden om gelezen te worden.

## Welk pack past bij een RAG-project?

Tel de pagina's om de index op te bouwen, tel het maandelijkse verversen erbij op, en kies het pack dat een paar maanden dekt. Credits verlopen nooit.

| Plan | Hoeveelheid | Prijs | Prijs per eenheid |
| --- | --- | --- | --- |
| Test | 10.000 pagina's | US$ 3,75 | US$ 0,38/1K pagina's |
| Starter | 50.000 pagina's | US$ 14,25 | US$ 0,28/1K pagina's |
| Build | 100.000 pagina's | US$ 21,75 | US$ 0,22/1K pagina's |
| Scale | 500.000 pagina's | US$ 50 | US$ 0,10/1K pagina's |

In elk plan: Hoofdinhoud extraheren · JavaScript rendering wanneer nodig · Mislukte en geweigerde pagina's niet in rekening gebracht · Credits verlopen nooit

**Voordat je betaalt**

- Minimale opwaardering US$ 25. Stort één keer op met crypto en koop daarna elk plan vanuit je saldo.
- Je saldo heeft geen einddatum en kan op elk moment pagina-credits kopen. Als een pack minder kost dan de minimale opwaardering, kan het bedrag dat je alleen hebt toegevoegd om dat minimum te bereiken op verzoek worden teruggestuurd binnen 30 dagen na de betaling, in USDT of USDC, zolang je het niet hebt uitgegeven. Elk ander saldo wordt niet terugbetaald, tenzij de wet anders bepaalt.
- Bijgeschreven zodra je betaling op de blockchain is gecontroleerd. Gebruikelijke bevestigingstijd van het netwerk: BTC ≈ 20 min · USDT TRC-20 ≈ 1 min · USDT ERC-20 ≈ 5 min · USDC ERC-20 ≈ 5 min · ETH ≈ 5 min · SOL ≈ 1 min · LTC ≈ 15 min

## RAG-ingestion: veelgestelde vragen

### Welke chunkgrootte moet ik gebruiken?

Splits eerst op koppen en knip daarna secties langer dan ongeveer 500 tot 1.000 tokens met een kleine overlap. Chunks op basis van koppen houden elk één onderwerp, wat meestal beter retrievet dan vensters van vaste grootte over de hele pagina.

### Maakt WebReaderAPI embeddings of slaat het vectoren op?

Nee. WebReaderAPI leest pagina's en geeft Markdown met metadata terug. Je maakt embeddings met het model van je keuze en slaat ze op in je eigen vector database; de [LangChain- en LlamaIndex-pagina](https://webreaderapi.com/nl/docs/langchain/) toont beide.

### Hoe houd ik de index up-to-date?

Lees alleen de pagina's opnieuw die zijn gewijzigd. De meeste sitemaps bevatten een `lastmod`-datum per URL; vergelijk die met je laatste lezing en stuur de gewijzigde URL's als batch. Pagina's die nu mislukken, horen uit de index verwijderd te worden.

### Kan ik PDF's van dezelfde site meenemen?

Ja. Een crawl leest PDF-links op hetzelfde domein met dezelfde robots.txt-controles. PDF-bestanden tot 20 MB en 100 pagina's worden omgezet naar Markdown, voor 1 credit per begonnen blok van 10 pagina's.

---

WebReaderAPI: WebReaderAPI is een web reader-API voor AI-agents die elke openbare webpagina omzet in schone Markdown, betaald met crypto zonder ID te uploaden. Prepaid credits vanaf US$ 0,07/1K pagina's verlopen nooit, en robots.txt wordt gerespecteerd. Zonder KYC — geen ID, geen selfie, geen documenten. Betalen met crypto.