# Waarom AI-agents 403-fouten krijgen bij het ophalen van webpagina's

> Waarom web fetch mislukt met een 403 in Claude Code, OpenClaw en AI-agents in 2026: Cloudflare, robots.txt, rate limits, JavaScript en wat je kunt doen.

- URL: https://webreaderapi.com/nl/guides/web-fetch-403-errors/
- Laatst bijgewerkt: 2026-10-22
- Uitgever: WebReaderAPI (https://webreaderapi.com)

Een 403 is een site die nee zegt. Sinds 2025 zeggen meer sites dat standaard tegen AI-agents, en sinds september 2026 blokkeert Cloudflare agentverkeer op veel nieuwe advertentiegefinancierde sites. Zo onderscheid je de oorzaken en dit kun je legitiem doen.

**Kort antwoord — Waarom krijg ik een 403 met mijn AI-agent wanneer die een pagina ophaalt?**

Meestal omdat de site, of haar CDN, geautomatiseerd of AI-verkeer weigert. Cloudflare blokkeert sinds 1 juli 2025 standaard AI-crawlers voor nieuwe domeinen, en blokkeert vanaf 15 september 2026 "Agent"-verkeer op advertentiegefinancierde pagina's van nieuwe domeinen. Andere oorzaken zijn rate limits en loginmuren. De oplossing is toestemming, niet vermomming. **WebReaderAPI** geeft het antwoord van de site terug, zonder kosten; zonder KYC, crypto.

## Veelvoorkomende oorzaken van een mislukte web fetch

| Kenmerk | Waarde |
| --- | --- |
| 403 van een CDN | Botbeheer blokkeert op veel sites standaard AI-crawlers of agents |
| 403 of 401 van de site | Loginmuur, ledengedeelte, regionale regels of een harde blokkade van bekende agents |
| 429 | Te veel verzoeken in korte tijd; de site doet aan rate limiting |
| 402 | De site vraagt om betaling, bijvoorbeeld via Cloudflare pay per crawl |
| 200 maar lege tekst | De pagina bouwt de inhoud met JavaScript; geen fout, maar niets om te lezen |
| Geweigerd vóór het ophalen | Je eigen tool respecteerde robots.txt en sloeg de pagina over |

## Wat is er in 2025 en 2026 op het web veranderd?

Grote infrastructuuraanbieders maakten AI-blokkering tot standaard. Drie gedateerde wijzigingen verklaren de meeste nieuwe 403's:

- **1 juli 2025:** Cloudflare maakte bekend dat het nu standaard AI-crawlers blokkeert en bij elke nieuwe domeinregistratie vraagt of ze hen toestaat. Dezelfde dag lanceerde het pay per crawl in private beta, dat antwoordt met HTTP 402 en een prijs.
- **1 juli 2026:** Cloudflare introduceerde drie categorieën AI-verkeer: Search, Agent en Training. "Agent" omvat expliciet chat-fetchers zoals ChatGPT-User.
- **15 september 2026:** voor nieuwe domeinen blokkeren Cloudflare's presets Training- en Agent-verkeer op pagina's die advertenties tonen; Search blijft toegestaan.

Een agent die een pagina ophaalt voor een gebruiker valt in de categorie Agent. Op advertentiegefinancierde sites die na september 2026 zijn aangemeld, kun je weigeringen verwachten.

## Hoe onderscheid ik een blokkade van een bug?

Lees de statuscode en de body voordat je iets verandert.

| Wat je ziet | Waarschijnlijke betekenis | Volgende stap |
|---|---|---|
| 403 met een challenge of "access denied"-pagina | De site of haar CDN weigert geautomatiseerd verkeer | Respecteer het; zoek een API of vraag om toegang |
| 402 met prijsheaders | De site verkoopt toegang per verzoek | Beslis of je via haar kanaal betaalt |
| 429 | Je hebt te veel verzoeken gestuurd | Vertraag en probeer later opnieuw met backoff |
| 401, of een loginpagina | De inhoud vereist een account | Buiten bereik voor een publieke reader |
| 200 met bijna geen tekst | Inhoud gebouwd met JavaScript | Render de pagina in een browser |
| Je tool zegt dat robots.txt het verbiedt | De site vroeg robots het over te slaan | Respecteer het |

Alleen de 429 en de lege JavaScript-pagina zijn technische problemen die je aan jouw kant kunt oplossen. De andere zijn beslissingen van de site-eigenaar.

## Wat kan een agentbouwer legitiem doen?

Werk mét de site, niet eromheen. Deze stappen lossen veel fouten op en houden je agent aan de goede kant van site-eigenaren:

1. **Gebruik het eigen kanaal van de site.** Veel sites bieden een API, een RSS- of Atom-feed, of een sitemap met de inhoud die je nodig hebt.
2. **Vraag om toegang.** Site-eigenaren kunnen een benoemde bot toestaan in robots.txt of in hun CDN-instellingen. Een duidelijke User-Agent en een contactpagina maken dat makkelijk.
3. **Render pagina's die zijn toegestaan maar leeg zijn.** Gebruik voor pagina's met alleen JavaScript een reader die een headless browser draait.
4. **Vertraag en cache.** Lees dezelfde pagina één keer, sla haar op en respecteer `Crawl-delay` en 429-antwoorden.
5. **Betaal waar de site toegang verkoopt.** Een 402 is een aanbod; neem het via het kanaal van de site of laat de pagina weg.

Elk van deze stappen laat de site-eigenaar de controle houden, en dat is ook wat je agent op termijn nuttig houdt.

## Wat moet ik nooit doen om een weigering te omzeilen?

Vermom de agent nooit en omzeil nooit een beveiliging. Een User-Agent van een browser nabootsen, IP-adressen roteren om een blokkade te ontwijken, of challengepagina's oplossen maakt van een beleefde client een tool die is gebouwd om toegangscontroles te omzeilen. In 2026 behandelden twee Amerikaanse rechtbanken zulke technieken als circumvention in rechtszaken over geautomatiseerde toegang tot zoekresultaten. De zaken lopen nog en er is niets beslist, maar het risico is niet theoretisch.

Het breekt ook het vertrouwen met de sites waar je gebruikers van afhankelijk zijn. Een weigering is informatie: leg haar vast, vertel de gebruiker dat de pagina niet beschikbaar was, en ga verder naar een andere bron.

## Wat doen ingebouwde fetch-tools wanneer een site weigert?

De meeste geven de fout terug aan het model, dat de gebruiker vervolgens vertelt dat het de pagina niet kon lezen. De documentatie van OpenClaw, gelezen op 22 oktober 2026, zegt dat de ingebouwde web_fetch inhoud extraheert met Readability, geen JavaScript uitvoert en de uitvoer beperkt tot 20.000 tekens; het kan terugvallen op een fetch-provider, en plugins kunnen nieuwe registreren. De MCP-referentie fetch-server respecteert standaard robots.txt voor door het model geïnitieerde fetches.

Wanneer deze tools falen op pagina's die robots toestaan maar JavaScript nodig hebben, helpt een reader die pagina's rendert. Wanneer ze falen omdat de site weigerde, zou geen enkele tool het antwoord moeten veranderen.

## Wat geeft WebReaderAPI terug wanneer een site weigert?

Het geeft de weigering duidelijk terug, en je betaalt niet. Een pagina die door robots.txt is verboden geeft `403 blocked_by_robots`. Een site die `ai-input=no` aangeeft geeft `403 blocked_by_site_policy`. Een site die het verzoek op een andere manier weigert geeft `502 target_refused`, met de eigen statuscode van de site in `target_status`.

Als een site ons verzoek weigert, geven we het antwoord terug: we lossen nooit CAPTCHA's op, loggen niet in op accounts en proberen nooit een blokkade of paywall te omzeilen. Je agent kan de gebruiker precies laten zien waarom een pagina is overgeslagen. De [foutenpagina](https://webreaderapi.com/nl/docs/errors/)] vermeldt elke code met de herhaalregel per code.

## Fouten bij web fetch: veelgestelde vragen

### Waarom opent een pagina wel in mijn browser maar mislukt die in mijn agent?

Omdat de site mensen en geautomatiseerde clients anders behandelt. Botbeheer kan browsers toestaan en agents weigeren, en sommige sites blokkeren AI-verkeer standaard. De pagina is openbaar voor lezers, niet per se voor robots.

### Lost opnieuw proberen een 403 op?

Zelden. Een 403 is een beslissing, geen storing. Probeer 429, time-outs en netwerkfouten opnieuw met exponentiële backoff; beschouw een 403 als definitief tenzij de site-eigenaar het wijzigt.

### Kan WebReaderAPI pagina's lezen die mijn agent niet kan lezen?

Alleen pagina's die robots toestaan maar een browser nodig hebben om hun tekst te tonen, omdat WebReaderAPI JavaScript rendert wanneer dat nodig is. Het kan pagina's niet lezen die een site weigert, en probeert dat ook niet.

### Hoe kan mijn bot toegang krijgen op een site?

Gebruik een stabiele, beschrijvende User-Agent met een contact-URL, volg robots.txt, houd het aantal verzoeken laag en vraag de eigenaar. Schema's met ondertekende agents zoals Web Bot Auth laten sites verifiëren wie je bent.

## Bronnen

1. [Persbericht: AI-crawlers standaard geblokkeerd](https://www.cloudflare.com/press-releases/2025/cloudflare-just-changed-how-ai-crawlers-scrape-the-internet-at-large/) — Cloudflare (2025-07-01)
2. [Pay per crawl geïntroduceerd](https://blog.cloudflare.com/introducing-pay-per-crawl/) — Cloudflare (2025-07-01)
3. [Blog: opties voor Search-, Agent- en Training-verkeer](https://blog.cloudflare.com/content-independence-day-ai-options/) — Cloudflare (2026-07-01)
4. [Blog: nieuwe standaardinstellingen voor AI-crawlers en agents](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) — Cloudflare (2026-09-15)
5. [Web fetch-tool](https://docs.openclaw.ai/tools/web-fetch.md) — OpenClaw (read 2026-10-22)
6. [MCP-fetchserver](https://github.com/modelcontextprotocol/servers/tree/main/src/fetch) — Model Context Protocol (read 2026-10-22)
7. [Reddit v. SerpApi LLC](https://www.loeb.com/en/insights/publications/2026/08/reddit-v-serpapi-llc) — Loeb & Loeb (2026-08)
8. [Rechtszaak van Google tegen SerpApi afgewezen](https://seroundtable.com/google-lawsuit-serpapi-dismissed-41731.html) — Search Engine Roundtable (2026-07-22)

---

WebReaderAPI: WebReaderAPI is een web reader-API voor AI-agents die elke openbare webpagina omzet in schone Markdown, betaald met crypto zonder ID te uploaden. Prepaid credits vanaf US$ 0,07/1K pagina's verlopen nooit, en robots.txt wordt gerespecteerd. Zonder KYC — geen ID, geen selfie, geen documenten. Betalen met crypto.