WebReaderAPI-bot: user agent, robots.txt en hoe je hem blokkeert

Waarom heeft WebReaderAPI mijn pagina opgehaald?

Omdat een klant van de API erom heeft gevraagd. WebReaderAPI bouwt geen eigen index van het web en surft niet uit eigen beweging. Elke fetch hoort bij een van drie soorten verzoeken:

• Een enkele read: een applicatie of een AI-agent stuurde je URL naar /read, meestal omdat iemand een vraag stelde die jouw pagina beantwoordt.
• Een batch-job: een klant stuurde een lijst van maximaal 100 URL's, en die van jou stond erop.
• Een crawl-job: een klant vroeg ons een hele site te lezen, beginnend bij één adres en blijvend op dat domein. Crawls volgen je sitemap en je robots.txt.

De klant ontvangt de hoofdinhoud van de pagina als Markdown. Daarna bewaren we er geen kopie van.

Hoe blokkeer ik de bot op mijn hele site?

Voeg een groep voor ons token toe aan je robots.txt-bestand. De bot leest /robots.txt voordat hij een pagina ophaalt en cachet die maximaal 24 uur, dus een wijziging geldt binnen een dag.

Kan ik maar een deel van mijn site blokkeren, of de bot vertragen?

Ja. Zet de mappen die je wilt weren onder Disallow, en stel een Crawl-delay in seconden in voor crawl-jobs. Regels voor alle robots (User-agent: *) gelden ook voor ons wanneer je geen groep voor ons token hebt. Heb je die wel, dan wint die groep, zoals RFC 9309 beschrijft.

Volgt de bot AI-voorkeurssignalen?

Ja, de signalen die een site in robots.txt vermeldt. Als je bestand Content-Signal: ai-input=no aangeeft, behandelen we dat als een weigering om je pagina's als invoer voor AI-antwoorden te gebruiken, en lezen we ze niet voor onze klanten. De API geeft de klant dan de fout blocked_by_site_policy, en die wordt niet in rekening gebracht.

Wat doet de bot als mijn site hem weigert?

Hij stopt en meldt jouw antwoord. Een status 403 of 429, een challenge-pagina, een inlogformulier of een paywall beëindigen allemaal het verzoek. De klant krijgt de fout target_refused met jouw statuscode, en betaalt daar niets voor.

De bot lost nooit challenges op, logt nooit in, verandert zijn user agent nooit om op een browser te lijken en probeert het nooit opnieuw in vermomming. Wil je dat we je pagina's lezen, sta het token dan toe in robots.txt en laat de verzoeken door; zo niet, dan is er aan jouw kant niets meer nodig.

Wat belooft WebReaderAPI nog niet?

We publiceren vandaag geen lijst met IP-adressen, dus identificeer de bot op zijn user agent en zijn robots.txt-gedrag, niet op IP. Pagina's die met de optie country worden gelezen, vertrekken vanaf een adres in het gekozen land, nog steeds met dezelfde user agent. We voegen onze adresreeksen aan deze pagina toe zodra ze vastliggen, met de datum van de wijziging.

Hoe meld ik een probleem met de bot?

Schrijf naar [email protected] met de datum en tijd, je domein, de opgehaalde URL en een regel uit je access log met onze user agent. Een persoon leest elke melding en controleert die tegen onze logs. Als een klant de API gebruikt in strijd met ons Acceptable Use Policy, wordt zijn account opgeschort.

Om te controleren of een verzoek echt van ons kwam, vergelijk je de user agent en het robots.txt-gedrag met deze pagina. Een client die je robots.txt-regels negeert terwijl hij onze naam gebruikt, is niet onze bot.