# Converteer je website naar Markdown: crawl hem en exporteer elke pagina

> Converteer je website naar Markdown: crawl je site en exporteer elke pagina met front matter, voor migratie, back-up of assistent. Zonder KYC.

- URL: https://webreaderapi.com/nl/use-cases/website-to-markdown/
- Laatst bijgewerkt: 2026-10-22
- Uitgever: WebReaderAPI (https://webreaderapi.com)

Overstappen naar een static site generator, een docs-platform of een knowledge base begint vaak met één vraag: hoe krijg ik mijn pagina's eruit als schone Markdown? Een crawl doet het in één job, met titels, datums en URL's bewaard in front matter.

**Kort antwoord — Hoe converteer ik mijn hele website naar Markdown?**

Crawl je site, lees de hoofdinhoud van elke pagina als Markdown, en schrijf één `.md`-bestand per pagina met de titel, URL en datum in front matter. **WebReaderAPI** crawlt tot 10.000 pagina's per job, volgt je sitemap en robots.txt, en rekent één credit per pagina vanaf US$ 0,07/1K pagina's per oktober 2026. Een Python-script hieronder schrijft de bestanden. Zonder KYC; betalen met crypto.

## Website-export met WebReaderAPI

| Kenmerk | Waarde |
| --- | --- |
| Endpoint | `POST https://webreaderapi.com/api/v1/crawl`, resultaten van `GET https://webreaderapi.com/api/v1/jobs/{job_id}` |
| Bereik | Crawl één website per job, tot 10.000 pagina's, volgens de sitemap, de robots.txt en de Crawl-delay |
| Per pagina | Markdown van de hoofdinhoud, plus titel, beschrijving, auteur, datum en taal |
| Hele pagina's | `main_content=false` behoudt navigatie en footers wanneer je die nodig hebt |
| Je robots.txt | Moet `WebReaderAPI` toestaan voor de pagina's die je exporteert |
| Prijs | US$ 3,75 voor 10.000 pagina's; credits verlopen nooit |

## Wanneer is een Markdown-export nuttig?

Wanneer content het systeem dat het rendert moet verlaten. Veelvoorkomende gevallen:

- **Migraties.** Overstappen van een CMS naar een static site generator of een documentatieplatform dat pagina's als Markdown opslaat.
- **Back-ups.** Een leesbaar archief van je gepubliceerde pagina's dat niet afhankelijk is van een database of thema.
- **Je eigen assistent.** De tekst van je site voeden aan een helpbot of een interne zoekfunctie, met elk chunk gekoppeld aan zijn pagina.
- **Audits.** Al je pagina's als platte tekst lezen om verouderde beweringen, kromme formuleringen of dubbele content te vinden.

In elk geval wil je de woorden en de structuur, niet het thema eromheen.

*Python: crawl je site naar Markdown-bestanden met front matter*

```python
import os
import pathlib
import time
from urllib.parse import urlparse

import requests

API = "https://webreaderapi.com/api/v1"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}
SITE = "https://www.example.com/"
OUT = pathlib.Path("export")


def target_path(url):
    path = urlparse(url).path.strip("/") or "index"
    return OUT / (path + ".md")


def front_matter(page):
    fields = {"title": page.get("title", ""), "source": page["final_url"], "date": page.get("published_at") or ""}
    lines = ["---"] + [key + ": " + repr(value) for key, value in fields.items()] + ["---", ""]
    return "\n".join(lines)


job = requests.post(API + "/crawl", headers=HEADERS, json={"url": SITE, "limit": 2000, "max_depth": 5}, timeout=60).json()
cursor, delay, written = None, 5, 0
while True:
    params = {"cursor": cursor} if cursor else {}
    batch = requests.get(API + "/jobs/" + job["job_id"], headers=HEADERS, params=params, timeout=60).json()
    for page in batch.get("results", []):
        if "markdown" not in page:
            continue
        dest = target_path(page["final_url"])
        dest.parent.mkdir(parents=True, exist_ok=True)
        dest.write_text(front_matter(page) + page["markdown"] + "\n", encoding="utf-8")
        written += 1
    cursor = batch.get("next_cursor")
    if batch["status"] == "done" and not cursor:
        break
    if not cursor:
        time.sleep(delay)
        delay = min(delay * 2, 60)
print(written, "files in", OUT)

```

## Hoe behoud ik de mapstructuur en de URL's?

Spiegel het URL-pad in het bestandspad, zoals het script doet: `/guides/setup/` wordt `export/guides/setup.md`. Bewaar de originele URL in de front matter als `source`, zodat je na de migratie redirects kunt instellen en kunt controleren dat er niets verloren is gegaan.

Links in de Markdown wijzen nog naar je huidige URL's. Vervang na de verhuizing het domein of het padprefix in één pass en test daarna een steekproef van pagina's. Tabellen en codeblokken blijven Markdown, dus de meeste static generators renderen ze zonder wijzigingen.

## Wat als mijn eigen robots.txt crawlers blokkeert?

Sta onze token toe voor de duur van de export. WebReaderAPI leest alleen wat robots.txt toestaat voor `WebReaderAPI` of voor alle robots, ook op je eigen site. Voeg een groep toe zoals `User-agent: WebReaderAPI` met `Allow: /`, voer de crawl uit en verwijder die daarna als je wilt.

Onze [crawlerpagina](https://webreaderapi.com/nl/bot/) toont de exacte regels en de User-Agent die in je serverlogs verschijnt. Pagina's die verboden blijven, worden overgeslagen en niet gefactureerd.

## Hoeveel kost een export?

Eén credit per pagina, twee voor pagina's die een browser nodig hebben om hun tekst te tonen. Een site van 2.000 pagina's die op de server wordt gerenderd, kost eenmalig 2.000 credits; dezelfde site als JavaScript-app kan tot 4.000 kosten. Beide passen in 10.000 pagina's voor US$ 3,75, per oktober 2026.

Een site van 50.000 pagina's vereist meerdere jobs, gesplitst per sectie met `include_paths`, en past in 100.000 pagina's (US$ 21,75). Credits die na de export overblijven, blijven op je account voor latere verversingen.

## Welke pack dekt mijn export?

Tel je pagina's, verdubbel de telling als de site JavaScript nodig heeft om te renderen, en kies de pack daarboven. Credits verlopen nooit.

| Plan | Hoeveelheid | Prijs | Prijs per eenheid |
| --- | --- | --- | --- |
| Test | 10.000 pagina's | US$ 3,75 | US$ 0,38/1K pagina's |
| Starter | 50.000 pagina's | US$ 14,25 | US$ 0,28/1K pagina's |
| Build | 100.000 pagina's | US$ 21,75 | US$ 0,22/1K pagina's |

In elk plan: Hoofdinhoud extraheren · JavaScript rendering wanneer nodig · Mislukte en geweigerde pagina's niet in rekening gebracht · Credits verlopen nooit

**Voordat je betaalt**

- Minimale opwaardering US$ 25. Stort één keer op met crypto en koop daarna elk plan vanuit je saldo.
- Je saldo heeft geen einddatum en kan op elk moment pagina-credits kopen. Als een pack minder kost dan de minimale opwaardering, kan het bedrag dat je alleen hebt toegevoegd om dat minimum te bereiken op verzoek worden teruggestuurd binnen 30 dagen na de betaling, in USDT of USDC, zolang je het niet hebt uitgegeven. Elk ander saldo wordt niet terugbetaald, tenzij de wet anders bepaalt.
- Bijgeschreven zodra je betaling op de blockchain is gecontroleerd. Gebruikelijke bevestigingstijd van het netwerk: BTC ≈ 20 min · USDT TRC-20 ≈ 1 min · USDT ERC-20 ≈ 5 min · USDC ERC-20 ≈ 5 min · ETH ≈ 5 min · SOL ≈ 1 min · LTC ≈ 15 min

## Website naar Markdown: veelgestelde vragen

### Kan ik de hele pagina exporteren, inclusief menu's en footer?

Ja. Stel `main_content=false` in bij de crawl-opties en elk bestand bevat de volledige pagina omgezet naar Markdown. De meeste migraties geven de voorkeur aan alleen de hoofdinhoud, omdat het nieuwe thema zijn eigen navigatie meebrengt.

### Worden afbeeldingen gedownload?

Nee. Met `include_images=true` blijven afbeeldingslinks met hun alt-tekst in de Markdown staan; download de bestanden zelf met je eigen script als de migratie ze nodig heeft.

### Kan ik een site exporteren die niet van mij is?

Alleen openbare pagina's die het robots.txt toestaat, en alleen voor gebruik dat de voorwaarden en de wet toestaan. Voor een migratie of een back-up exporteer je je eigen sites of sites waarvan de eigenaar heeft ingestemd.

### Hoe groot kan een site zijn voor één job?

Tot 10.000 pagina's per crawl-job, binnen één domein. Splits grotere sites per sectie met `include_paths` en voer meerdere jobs uit.

---

WebReaderAPI: WebReaderAPI is een web reader-API voor AI-agents die elke openbare webpagina omzet in schone Markdown, betaald met crypto zonder ID te uploaden. Prepaid credits vanaf US$ 0,07/1K pagina's verlopen nooit, en robots.txt wordt gerespecteerd. Zonder KYC — geen ID, geen selfie, geen documenten. Betalen met crypto.