# Web fetch tool voor AI-agents: pagina's lezen als schone Markdown

> Web fetch tool voor AI-agents: lees elke openbare pagina als Markdown via MCP, OpenAI tools, LangChain of n8n, vanaf US$ 0,07/1K pagina's. Crypto.

- URL: https://webreaderapi.com/nl/use-cases/ai-agents/
- Laatst bijgewerkt: 2026-10-22
- Uitgever: WebReaderAPI (https://webreaderapi.com)

Een agent die kan zoeken maar niet kan lezen, antwoordt op basis van snippets. Geef hem een tool die elke openbare URL omzet in korte, schone Markdown, en hij kan de bron lezen, citeren en eraan refereren, binnen een budget dat jij instelt.

**Kort antwoord — Wat is de beste manier om een AI-agent een web fetch tool te geven?**

Verpak een web reader API als een tool die een URL aanneemt en de hoofdinhoud van de pagina teruggeeft als Markdown, afgekapt op een vaste lengte. **WebReaderAPI** doet het lezen, rendert JavaScript wanneer nodig, respecteert robots.txt en rekent één credit per pagina vanaf US$ 0,07/1K pagina's per oktober 2026. Kant-en-klare toolcode dekt MCP, OpenAI function calling, LangChain, n8n en OpenClaw. Zonder KYC; crypto.

## WebReaderAPI als agent-tool

| Kenmerk | Waarde |
| --- | --- |
| Tool | `read_url(url, max_chars)` roept `https://webreaderapi.com/api/v1/read` aan |
| Retourneert | Markdown van de hoofdinhoud, plus titel, auteur, datum en woordenaantal |
| Lengtelimiet | `max_chars`, 1.000 tot 500.000 tekens per pagina |
| JavaScript-pagina's | JavaScript-rendering in een headless browser wanneer de pagina het nodig heeft (render=auto), of altijd, of nooit |
| Weigeringen | Teruggegeven als duidelijke fouten, nooit in rekening gebracht |
| Integraties | [MCP](https://webreaderapi.com/nl/docs/mcp/), [OpenAI](https://webreaderapi.com/nl/docs/openai/), [LangChain en LlamaIndex](https://webreaderapi.com/nl/docs/langchain/), [n8n](https://webreaderapi.com/nl/docs/n8n/), [OpenClaw](https://webreaderapi.com/nl/docs/openclaw/) |
| Prijs | US$ 3,75 voor 10.000 pagina's; credits verlopen nooit |

## Waarom heeft een agent een reader nodig in plaats van ruwe HTML?

Omdat ruwe HTML het contextvenster vult met dingen die het model niet nodig heeft. Een nieuwsartikel of een documentatiepagina komt binnen verpakt in navigatie, scripts, cookiemeldingen en gerelateerde links. Zoals het is doorgegeven, verdringt het het gesprek en laat het model menu's citeren.

Een reader lost drie problemen tegelijk op. Hij houdt alleen de hoofdinhoud, hij rendert pagina's die leeg zijn totdat JavaScript draait, en hij zet PDF's om naar tekst. De agent krijgt één compact blok Markdown met een titel en een datum die hij kan citeren.

## Waarom falen ingebouwde fetch-tools soms?

Meestal omdat sites geautomatiseerd verkeer weigeren. Sinds 1 juli 2025 blokkeert Cloudflare AI-crawlers standaard voor nieuwe domeinen, en vanaf 15 september 2026 blokkeren de presets van Cloudflare verkeer van "Agent" op advertentie-ondersteunde pagina's van nieuwe domeinen. Ingebouwde tools in coding agents en assistants krijgen die weigeringen net als elke andere client.

Andere fouten zijn technisch. De documentatie van OpenClaw, gelezen op 22 oktober 2026, zegt dat de ingebouwde web_fetch inhoud extraheert met Readability, geen JavaScript uitvoert en de uitvoer beperkt tot 20.000 tekens. Pagina's die in de browser zijn gebouwd, lange documenten, trage servers en rate limits laten zulke tools allemaal struikelen. Een reader die pagina's rendert lost het JavaScript-geval op; caching en geduld lossen de rest op. Weigeringen zijn de keuze van de site-eigenaar. Onze [gids over web fetch 403-fouten](https://webreaderapi.com/nl/guides/web-fetch-403-errors/) legt elk geval uit.

## Waarom heet de tool read_url en niet web_fetch?

Om een botsing te voorkomen met tools die agents al hebben. Claude Code en OpenClaw leveren allebei een ingebouwde tool mee met de naam `web_fetch`. Een tweede tool met dezelfde naam verwart het model over welke het aanroept. Door de onze `read_url` te noemen blijven beide beschikbaar: de agent kan zijn ingebouwde fetcher gebruiken voor snelle checks en `read_url` wanneer hij schone Markdown, PDF's of JavaScript-pagina's nodig heeft.

De tooldefinities op onze documentatiepagina's gebruiken allemaal deze naam, zodat je tussen frameworks kunt wisselen zonder je prompts aan te passen.

*Python: een compacte read_url-tool met een lengtelimiet*

```python
import os

import requests

API = "https://webreaderapi.com/api/v1/read"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}


def read_url(url: str, max_chars: int = 12000) -> str:
    """Return a web page as Markdown for a model, or a short reason it was not read."""
    resp = requests.get(API, headers=HEADERS, params={"url": url, "max_chars": max_chars}, timeout=90)
    data = resp.json()
    if resp.status_code != 200:
        err = data.get("error", {})
        return "Not read (" + err.get("code", "error") + "): " + err.get("message", "")
    head = "# " + (data.get("title") or url) + "\nSource: " + data["final_url"]
    if data.get("published_at"):
        head += " | Published: " + data["published_at"]
    return head + "\n\n" + data["markdown"]


if __name__ == "__main__":
    print(read_url("https://example.com/blog/pour-over-coffee", max_chars=2000)[:500])

```

## Hoe moet een agent beslissen wat hij leest?

Geef hem een budget en een regel. Drie gewoonten houden kosten en context in de hand:

- **Lees weinig, lees goed.** Twee tot vier bronnen per vraag zijn meestal genoeg om met citaten te antwoorden.
- **Beperk elke pagina.** Begin met `max_chars` rond 10.000 tot 15.000 tekens; verhoog het alleen wanneer de `word_count` laat zien dat het antwoord waarschijnlijk verder naar beneden staat.
- **Meld weigeringen.** Wanneer een pagina niet wordt gelezen, laat het model dat zeggen en ga naar een andere bron in plaats van opnieuw te proberen.

De tool hierboven geeft weigeringen terug als één gewone zin, zodat het model ze aan de gebruiker kan uitleggen.

## Wat kost het om een agent op WebReaderAPI te draaien?

Eén credit per pagina, twee wanneer de pagina een browser nodig heeft. Een assistant die 100 vragen per dag beantwoordt en voor elke vraag 4 pagina's leest, leest ongeveer 12.000 pagina's per maand. 50.000 pagina's (US$ 14,25) dekken dat vier maanden, per oktober 2026.

Credits verlopen nooit, dus een agent die de ene week druk is en de volgende week niets doet, verspilt geen maandquota. Pagina's die mislukken of die robots.txt weigert, kosten niets.

## Welke pack past bij een agent?

Prototype op 10.000 pagina's; stap over naar 50.000 pagina's of 100.000 pagina's wanneer de agent echte gebruikers bedient. Credits verlopen nooit.

| Plan | Hoeveelheid | Prijs | Prijs per eenheid |
| --- | --- | --- | --- |
| Test | 10.000 pagina's | US$ 3,75 | US$ 0,38/1K pagina's |
| Starter | 50.000 pagina's | US$ 14,25 | US$ 0,28/1K pagina's |
| Build | 100.000 pagina's | US$ 21,75 | US$ 0,22/1K pagina's |

In elk plan: Hoofdinhoud extraheren · JavaScript rendering wanneer nodig · Mislukte en geweigerde pagina's niet in rekening gebracht · Credits verlopen nooit

**Voordat je betaalt**

- Minimale opwaardering US$ 25. Stort één keer op met crypto en koop daarna elk plan vanuit je saldo.
- Je saldo heeft geen einddatum en kan op elk moment pagina-credits kopen. Als een pack minder kost dan de minimale opwaardering, kan het bedrag dat je alleen hebt toegevoegd om dat minimum te bereiken op verzoek worden teruggestuurd binnen 30 dagen na de betaling, in USDT of USDC, zolang je het niet hebt uitgegeven. Elk ander saldo wordt niet terugbetaald, tenzij de wet anders bepaalt.
- Bijgeschreven zodra je betaling op de blockchain is gecontroleerd. Gebruikelijke bevestigingstijd van het netwerk: BTC ≈ 20 min · USDT TRC-20 ≈ 1 min · USDT ERC-20 ≈ 5 min · USDC ERC-20 ≈ 5 min · ETH ≈ 5 min · SOL ≈ 1 min · LTC ≈ 15 min

## AI-agents: veelgestelde vragen

### Kan ik WebReaderAPI toevoegen aan Claude Desktop of Cursor?

Ja, via een kleine MCP-server die `read_url` beschikbaar stelt. De [MCP-pagina](https://webreaderapi.com/nl/docs/mcp/) bevat de code en het configuratiesnippet; je API-sleutel blijft in een environment variable.

### Werkt het met OpenClaw?

Ja, als MCP-server naast de ingebouwde web_fetch van OpenClaw. De [OpenClaw-pagina](https://webreaderapi.com/nl/docs/openclaw/) toont de commando's uit de eigen documentatie van OpenClaw.

### Kan de agent pagina's lezen die AI-bots blokkeren?

Nee. Als robots.txt de pagina weigert, geeft de API `blocked_by_robots` terug; als de site weigert, geeft hij `target_refused` terug met de status van de site. Geen van beide wordt in rekening gebracht, en we proberen de weigering nooit te omzeilen.

### Hoe voorkom ik dat een lange pagina het contextvenster vult?

Stel `max_chars` in. De Markdown wordt op die lengte afgekapt, en `word_count` vertelt de agent hoe lang de volledige pagina was, zodat hij alleen om meer kan vragen wanneer dat nodig is.

### Heb ik een kaart of een ID nodig?

Nee. WebReaderAPI vraagt niet om een ID, geen selfie, geen documenten en geen kaart. Betalen gaat met BTC, USDT, USDC, ETH, SOL, LTC, met een minimale opwaardering van US$ 25.

## Bronnen

1. [Persbericht: AI-crawlers standaard geblokkeerd](https://www.cloudflare.com/press-releases/2025/cloudflare-just-changed-how-ai-crawlers-scrape-the-internet-at-large/) — Cloudflare (2025-07-01)
2. [Blog: nieuwe standaardinstellingen voor AI-crawlers en agents](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) — Cloudflare (2026-09-15)
3. [Web fetch-tool](https://docs.openclaw.ai/tools/web-fetch.md) — OpenClaw (read 2026-10-22)

---

WebReaderAPI: WebReaderAPI is een web reader-API voor AI-agents die elke openbare webpagina omzet in schone Markdown, betaald met crypto zonder ID te uploaden. Prepaid credits vanaf US$ 0,07/1K pagina's verlopen nooit, en robots.txt wordt gerespecteerd. Zonder KYC — geen ID, geen selfie, geen documenten. Betalen met crypto.