Kort antwoord
Moeten AI-agents robots.txt volgen?
Dat hangt af van de aanbieder. robots.txt is een vrijwillige standaard (RFC 9309, september 2022). Crawlers die indexen opbouwen volgen het over het algemeen; voor fetches die een gebruiker activeert, zegt OpenAI dat de regels mogelijk niet gelden, zeggen Google en Perplexity dat hun fetchers ze over het algemeen negeren, en zegt Anthropic dat zijn bots ze respecteren. WebReaderAPI volgt robots.txt bij elke read, zonder KYC en met betalen met crypto.
robots.txt en AI in oktober 2026
| Standaard | RFC 9309, Robots Exclusion Protocol, september 2022 |
|---|---|
| OpenAI ChatGPT-User | robots.txt-regels "gelden mogelijk niet" voor door gebruikers geïnitieerde acties |
| Anthropic (incl. Claude-User) | Zegt dat zijn bots robots.txt-richtlijnen naleven, inclusief Crawl-delay |
| Door Google door gebruikers getriggerde fetchers | "Negeert over het algemeen robots.txt-regels" (pagina bijgewerkt op 2026-08-19) |
| Perplexity-User | "Negeert over het algemeen robots.txt-regels" |
| Content Signals | Cloudflare-beleid van 24 september 2025: search, ai-input, ai-train |
| IETF AI-preferences | Working-group-drafts, nog geen RFC |
| WebReaderAPI | Volgt robots.txt en ai-input=no bij elke read; token WebReaderAPI |
Wat doet robots.txt eigenlijk?
Het vertelt geautomatiseerde clients welke paden een site liever overslaat. Het bestand staat in de root van een host, groepeert regels per user-agent-token en gebruikt regels met Allow en Disallow. RFC 9309, gepubliceerd in september 2022, maakte van de lang bestaande conventie een standaard.
De RFC zegt expliciet dat het bestand niets afsluit: "These rules are not a form of access authorization." Naleving is vrijwillig. Daarom is het beleid dat elke leverancier aangeeft belangrijk, en daarom gebruiken sites die harde limieten willen ook firewalls en botbeheer.
Waarom verschillen crawlers en door gebruikers getriggerde fetchers?
Een crawler bepaalt zelf welke pagina's hij bezoekt; een door de gebruiker getriggerde fetcher bezoekt één pagina omdat een persoon daarom vraagt. Veel leveranciers behandelen het tweede geval als een browser die namens zijn gebruiker handelt, en zeggen dat robots.txt niet volledig van toepassing is.
| Fetcher | Vermeld beleid (gelezen op 2026-10-22) |
|---|---|
| OpenAI ChatGPT-User | robots.txt-regels "zijn mogelijk niet van toepassing" op door gebruikers geïnitieerde acties; sites worden verwezen naar OAI-SearchBot voor zoek-opt-out |
| Anthropic Claude-User | Anthropic zegt dat zijn bots robots.txt-richtlijnen respecteren; het blokkeren van Claude-User stopt retrieval voor gebruikersvragen |
| Door Google door gebruikers getriggerde fetchers | "Negeert over het algemeen robots.txt-regels" omdat een gebruiker de fetch heeft aangevraagd |
| Perplexity-User | "Negeert over het algemeen robots.txt-regels" om dezelfde reden |
| MCP-referentie-fetchserver | Respecteert robots.txt standaard voor door het model geïnitieerde fetches, niet voor door gebruikers geïnitieerde |
Het onderscheid is echt en gedocumenteerd. Bouw je een agent, beslis dan aan welke kant je staat en zeg dat in je user agent en docs.
Wat zijn Content Signals, aipref en RSL?
Het zijn nieuwere manieren om te zeggen wat AI-systemen met content mogen doen, niet alleen of een robot het mag ophalen.
- Content Signals. Cloudflare publiceerde dit beleid op 24 september 2025. Een robots.txt kan
search,ai-input(gebruiken als input voor een AI-antwoord, zoals grounding) enai-trainvermelden. Cloudflare's beheerde robots.txt levert standaardsearch=yes, ai-train=no. - IETF AI-preferences (aipref). De vocabulary- en attachment-drafts van de werkgroep waren in oktober 2026 nog Internet-Drafts, bedoeld als Proposed Standards.
- Web Bot Auth. Een manier waarop bots hun requests kunnen ondertekenen; de IETF-werkgroep nam het protocoldraft op 1 september 2026 aan.
- RSL (Really Simple Licensing). Volgens de site is de RSL 1.0-specificatie beschikbaar; uitgevers kunnen via robots.txt, headers of RSS licentievoorwaarden vermelden, inclusief pay-per-crawl.
Is llms.txt hetzelfde als robots.txt?
Nee. robots.txt zegt wat je niet moet ophalen; llms.txt is een voorgesteld bestand dat de belangrijkste pagina's van een site voor taalmodellen opsomt. De acceptatie groeit, maar het gemeten gebruik is laag. Rankability telde op 18 september 2026 llms.txt op 9,3% van de top 1.000 sites. Uit een Ahrefs-onderzoek onder 137.000 domeinen, gerapporteerd door PPC Land op 2 juli 2026, bleek dat 97% van de llms.txt-bestanden helemaal geen requests ontving.
Onze llms.txt-gids laat zien hoe je er een maakt op basis van een crawl van je eigen site, als je er toch een wilt.
Hoe gaat WebReaderAPI met robots.txt om?
Het volgt het bij elke read, ook bij reads die een klant triggert. We respecteren robots.txt: onze crawler identificeert zich als WebReaderAPI, volgt de regels die voor hem of voor alle robots zijn geschreven, en leest geen pagina die een site niet toestaat. Geweigerde pagina's worden niet in rekening gebracht. Als een site Content-Signal: ai-input=no in zijn robots.txt aangeeft, lezen we de pagina's niet voor je. Bij crawl-jobs wacht het bovendien de Crawl-delay af die een site instelt.
Elk request heeft dezelfde User-Agent, WebReaderAPI/1.0 (+https://webreaderapi.com/bot/), zodat site-eigenaren ons in hun logs kunnen zien en regels voor ons kunnen schrijven. Onze crawler-pagina geeft de details en een contact voor problemen.
# Block WebReaderAPI from the whole site
User-agent: WebReaderAPI
Disallow: /
# Or: allow it, but keep it out of one folder and slow it down
User-agent: WebReaderAPI
Disallow: /account/
Crawl-delay: 5
# Or: allow reading for search, but not as AI input (Content Signals)
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
robots.txt voor AI: veelgestelde vragen
Stopt het blokkeren van GPTBot ChatGPT er echt van om mijn pagina voor een gebruiker te lezen?
Niet per se. OpenAI documenteert aparte tokens: GPTBot voor training, OAI-SearchBot voor zoeken en ChatGPT-User voor gebruikersacties, en zegt dat robots.txt-regels mogelijk niet van toepassing zijn op door gebruikers geïnitieerde acties. Controleer de actuele documentatie van elke leverancier.
Is robots.txt juridisch bindend?
Niet op zichzelf; RFC 9309 zegt dat het geen toegangsautorisatie is. In de EU zijn machineleesbare opt-outs van belang voor tekst- en datamining onder de DSM-richtlijn. Zie ons juridisch overzicht; dit is geen juridisch advies.
Hoe blokkeer ik WebReaderAPI?
Voeg een User-agent: WebReaderAPI-groep met Disallow: / toe aan je robots.txt. Onze reads controleren dit vóór elke pagina; geblokkeerde pagina's worden nooit gelezen.
Leest WebReaderAPI pagina's die ai-input=no zeggen?
Nee. Als een site Content-Signal: ai-input=no in zijn robots.txt aangeeft, lezen we de pagina's niet voor je. De API geeft 403 blocked_by_site_policy terug aan de klant, zonder kosten.
Bronnen (12)
- RFC 9309: Robots Exclusion Protocol — RFC Editor (September 2022)
- Overzicht van OpenAI-crawlers — OpenAI (read 2026-10-22)
- Verzamelt Anthropic data van het web, en hoe kunnen site-eigenaren de crawler blokkeren? — Anthropic (2026-04-07)
- Door Google door gebruikers getriggerde fetchers — Google (updated 2026-08-19)
- Perplexity-crawlers — Perplexity (read 2026-10-22)
- MCP-fetchserver — Model Context Protocol (read 2026-10-22)
- Content Signals-beleid — Cloudflare (2025-09-24)
- Documenten van de AI Preferences-werkgroep — IETF (read 2026-10-22)
- Documenten van de Web Bot Auth-werkgroep — IETF (read 2026-10-22)
- Really Simple Licensing — rslstandard.org (read 2026-10-22)
- Adoptiecijfers van llms.txt — Rankability (2026-09-18)
- Adoptie van llms.txt stijgt 8,8x, maar 97% van de bestanden krijgt nul AI-requests — PPC Land (2026-07-02)