Woordenlijst voor web reader API's

De opmaaktaal van webpagina's. Ruwe HTML vermengt de tekst die je wilt met tags, scripts en styling, waardoor het slecht leesbaar is voor een taalmodel.

Het Document Object Model: de boom van elementen die een browser uit HTML opbouwt en vervolgens met JavaScript wijzigt. Een gerenderde pagina wordt uit de DOM gelezen, niet uit de ruwe HTML.

De scripts van een pagina in een browser uitvoeren, zodat content die na het eerste antwoord wordt geladen, verschijnt. WebReaderAPI doet dit wanneer nodig (render=auto), voor twee credits in plaats van één.

Een echte browser-engine die zonder scherm draait en door software wordt aangestuurd. Zo worden JavaScript-zware pagina's op een server gerenderd.

Het deel van een pagina vinden waar een lezer voor kwam, zoals het artikel of de documentatie, en al het overige weglaten. In onze API is dit main_content=true, de standaard.

Zowel een eigenschap van tekst als de naam van een bekende familie algoritmes die paginablokken beoordelen om de hoofdinhoud te vinden, zoals leesmodi in browsers doen.

Tekst die op elke pagina van een site terugkomt: menu's, cookieberichten, zijbalken, footers, deelknoppen. Het verwijderen ervan is het grootste deel van het werk van een web reader.

Een platte-tekstformaat waarin # een kop markeert, - een lijstitem en [text](url) een link. Modellen lezen het goed en het gebruikt veel minder tokens dan HTML.

Feiten over een pagina in plaats van de tekst: titel, beschrijving, auteur, publicatiedatum, taal. WebReaderAPI geeft ze naast de Markdown terug wanneer de pagina ze vermeldt.

De tekst van een PDF-bestand omzetten naar Markdown. PDF-bestanden tot 20 MB en 100 pagina's worden omgezet naar Markdown, voor 1 credit per begonnen blok van 10 pagina's.

Een XML-bestand waarin een site haar pagina's opsomt. Een crawlopdracht begint ermee wanneer het bestaat, wat pagina's sneller en met minder requests vindt.

Een barrière die content alleen aan abonnees toont. WebReaderAPI leest er nooit achter.

Een programma dat webpagina's ophaalt voor een doel. Het onze haalt alleen de pagina's op die klanten aanvragen, en de botpagina beschrijft het.

De naam die een client met elk request meestuurt. De onze is WebReaderAPI/1.0 (+https://webreaderapi.com/bot/), zodat site-eigenaren altijd weten wie er vraagt.

Een bestand in de root van een site dat crawlers vertelt welke paden ze mogen ophalen, gestandaardiseerd als RFC 9309. We respecteren robots.txt: onze crawler identificeert zich als WebReaderAPI, volgt de regels die voor hem of voor alle robots zijn geschreven, en leest geen pagina die een site niet toestaat. Geweigerde pagina's worden niet in rekening gebracht.

Een regel in robots.txt die crawlers vraagt een aantal seconden tussen requests te wachten. Onze crawlopdrachten respecteren die.

Een beleid voor robots.txt-regels zoals Content-Signal: search=yes, ai-input=no, die aangeven hoe de content van een site mag worden gebruikt, ook door AI.

De Content Signals-instelling die het gebruik van een pagina als input voor een AI-antwoord dekt. Als een site Content-Signal: ai-input=no in zijn robots.txt aangeeft, lezen we de pagina's niet voor je.

Een Markdown-bestand dat sommige sites op /llms.txt publiceren om taalmodellen een korte gids te geven over hun content en hun belangrijkste pagina's.

Veel pagina's van één site lezen door de links en de sitemap te volgen. Crawl één website per job, tot 10.000 pagina's, volgens de sitemap, de robots.txt en de Crawl-delay.

Een lijst URL's die in één request wordt verstuurd en op de achtergrond wordt verwerkt. Tot 100 URL's per batch-job.

De status die een server stuurt om een request te weigeren. Wanneer een site 403 antwoordt aan onze crawler, geeft de API target_refused terug en rekent niets aan.

De status voor te veel verzoeken. Vanaf een site betekent het: rustiger aan doen; vanaf onze API (concurrency_limit) betekent het dat je account de limiet voor gelijktijdige reads heeft bereikt.

Na elke mislukte poging langer wachten (bijvoorbeeld 1, 2 en dan 4 seconden) voordat je het opnieuw probeert, zodat een drukke server niet wordt overspoeld.

De eenheid die een taalmodel leest en waarvoor het factureert, ruwweg een kort woord of een deel ervan. Schone Markdown gebruikt veel minder tokens dan dezelfde pagina in HTML.

De hoeveelheid tekst die een model in één keer kan verwerken. Met de parameter max_chars blijft elke pagina binnen het budget dat je instelt.

Retrieval-augmented generation: het model antwoordt op basis van documenten die voor de vraag zijn opgehaald. Een web reader levert die documenten uit live pagina's.

Een lang document opsplitsen in passages voordat je het indexeert. Markdown-koppen geven natuurlijke splitsingspunten.

Een lijst getallen die de betekenis van een passage weergeeft, gebruikt om passages te vinden die op een vraag lijken.

Een database die embeddings opslaat en de passages teruggeeft die het dichtst bij een query liggen; de gebruikelijke plek voor gechunkte webpagina's in een RAG-systeem.

Het vermogen van een model om de applicatie te vragen een functie uit te voeren, zoals een URL lezen, en het resultaat te gebruiken. Zie OpenAI function calling.

Het Model Context Protocol, een standaardmanier om tools aan te sluiten op AI-clients zoals Claude Desktop of Cursor. Onze MCP-pagina] toont een fetch-tool die op de API is gebouwd.

De eenheid van gebruik van de API. 1 credit = 1 pagina lezen zonder browser; 2 credits wanneer de pagina een browser nodig heeft om JavaScript te renderen. Een verzoek dat mislukt, of dat de robots.txt van een site weigert, wordt niet in rekening gebracht.

Hoeveel reads je account op hetzelfde moment kan uitvoeren. Elk account heeft een limiet voor het aantal pagina's dat het tegelijk leest; je dashboard toont die, en support kan hem verhogen.

Know your customer: identiteitscontroles die sommige diensten vereisen, zoals een identiteitsbewijs of een selfie. WebReaderAPI vraagt er geen.

Een cryptocurrency die een valuta zoals de US-dollar volgt. USDT en USDC zijn de twee die worden geaccepteerd voor top-ups; de volledige lijst met coins staat BTC, USDT, USDC, ETH, SOL, LTC.