Glossaire de l'API de lecture web

Le langage de balisage des pages web. Le HTML brut mélange le texte que vous voulez avec des balises, des scripts et du style, c'est pourquoi il se lit mal pour un modèle de langage.

Le Document Object Model : l'arbre d'éléments qu'un navigateur construit à partir du HTML puis modifie avec JavaScript. Une page rendue est lue depuis le DOM, pas depuis le HTML brut.

Exécuter les scripts d'une page dans un navigateur pour faire apparaître le contenu chargé après la première réponse. WebReaderAPI le fait quand c'est nécessaire (render=auto), pour deux crédits au lieu d'un.

Un vrai moteur de navigateur qui tourne sans écran, piloté par logiciel. C'est ainsi que les pages riches en JavaScript sont rendues sur un serveur.

Trouver la partie d'une page pour laquelle un lecteur est venu, comme l'article ou la documentation, et laisser de côté tout ce qui l'entoure. Dans notre API, c'est main_content=true, le mode par défaut.

À la fois une qualité de texte et le nom d'une famille bien connue d'algorithmes qui notent les blocs d'une page pour trouver le contenu principal, comme le font les modes lecture des navigateurs.

Le texte répété sur chaque page d'un site : menus, avis de cookies, barres latérales, pieds de page, boutons de partage. Le retirer représente l'essentiel du travail d'un lecteur de pages web.

Un format en texte brut où # marque un titre, - un élément de liste et [text](url) un lien. Les modèles le lisent bien et il consomme bien moins de tokens que le HTML.

Des informations sur une page plutôt que son texte : titre, description, auteur, date de publication, langue. WebReaderAPI les renvoie à côté du Markdown quand la page les indique.

Convertir le texte d'un fichier PDF en Markdown. Les fichiers PDF jusqu'à 20 MB et 100 pages sont convertis en Markdown, à 1 crédit par bloc de 10 pages entamé.

Un fichier XML où un site liste ses pages. Un crawl démarre à partir de lui quand il existe, ce qui permet de trouver les pages plus vite et avec moins de requêtes.

Une barrière qui n'affiche le contenu qu'aux abonnés. WebReaderAPI ne lit jamais derrière un paywall.

Un programme qui récupère des pages web dans un but précis. Le nôtre ne récupère que les pages demandées par les clients, et la page bot le décrit.

Le nom qu'un client envoie avec chaque requête. Le nôtre est WebReaderAPI/1.0 (+https://webreaderapi.com/bot/), ainsi les propriétaires de sites savent toujours qui demande.

Un fichier à la racine d'un site qui indique aux crawlers les chemins qu'ils peuvent récupérer, normalisé sous le nom RFC 9309. Nous respectons robots.txt : notre crawler s'identifie comme WebReaderAPI, suit les règles écrites pour lui ou pour tous les robots, et ne lit pas une page qu'un site interdit. Les pages refusées ne sont pas facturées.

Une ligne de robots.txt demandant aux crawlers d'attendre un certain nombre de secondes entre les requêtes. Nos crawls la respectent.

Une politique pour les lignes de robots.txt telles que Content-Signal: search=yes, ai-input=no, qui précisent comment le contenu d'un site peut être utilisé, y compris par l'IA.

Le réglage Content Signals qui couvre l'utilisation d'une page comme entrée pour une réponse d'IA. Si un site déclare Content-Signal: ai-input=no dans son robots.txt, nous ne lisons pas ses pages pour vous.

Un fichier Markdown que certains sites publient à l'adresse /llms.txt pour donner aux modèles de langage un court guide de leur contenu et de leurs pages clés.

Lire de nombreuses pages d'un même site en suivant ses liens et son sitemap. Crawl d'un seul site web par job, jusqu'à 10 000 pages, en suivant son sitemap, son robots.txt et son Crawl-delay.

Une liste d'URL envoyée en une seule requête et traitée en arrière-plan. Jusqu'à 100 URLs par job batch.

Le statut qu'un serveur envoie pour refuser une requête. Quand un site répond 403 à notre crawler, l'API renvoie target_refused et ne facture rien.

Le statut pour trop de requêtes. Venant d'un site, il signifie de ralentir ; venant de notre API (concurrency_limit), il signifie que votre compte a atteint sa limite de lectures simultanées.

Attendre plus longtemps après chaque tentative échouée (par exemple 1, puis 2, puis 4 secondes) avant de réessayer, pour ne pas saturer un serveur surchargé.

L'unité qu'un modèle de langage lit et sur laquelle il est facturé, en gros un mot court ou une partie de mot. Un Markdown propre consomme bien moins de tokens que la même page en HTML.

La quantité de texte qu'un modèle peut traiter d'un coup. Le paramètre max_chars maintient chaque page dans le budget que vous fixez.

Génération augmentée par récupération : le modèle répond à partir de documents récupérés pour la question. Un lecteur de pages web fournit ces documents depuis des pages en direct.

Découper un long document en passages avant de l'indexer. Les titres Markdown offrent des points de découpe naturels.

Une liste de nombres qui représente le sens d'un passage, utilisée pour trouver les passages proches d'une question.

Une base de données qui stocke les embeddings et renvoie les passages les plus proches d'une requête, le logement habituel des pages web découpées en chunks dans un système RAG.

La capacité d'un modèle à demander à l'application d'exécuter une fonction, comme lire une URL, et à exploiter le résultat. Voir OpenAI function calling.

Le Model Context Protocol, une façon standard de brancher des outils dans des clients IA comme Claude Desktop ou Cursor. Notre page MCP présente un outil de récupération construit sur l'API.

L'unité d'usage de l'API. 1 crédit = 1 page lue sans navigateur ; 2 crédits quand la page nécessite un navigateur pour exécuter JavaScript. Une requête qui échoue, ou qu'un robots.txt de site refuse, n'est pas facturée.

Le nombre de lectures que votre compte peut exécuter au même moment. Chaque compte a une limite du nombre de pages lues en simultané ; votre dashboard l'affiche, et le support peut l'augmenter.

Know your customer : contrôles d'identité que certains services exigent, comme une pièce d'identité ou un selfie. WebReaderAPI n'en demande aucun.

Une cryptomonnaie indexée sur une devise comme le dollar américain. USDT et USDC sont les deux acceptées pour les recharges ; la liste complète des coins est BTC, USDT, USDC, ETH, SOL, LTC.