Réponse rapide
Comment convertir une page web en Markdown pour un LLM ?
Récupérez la page, ne gardez que son contenu principal, puis transformez titres, listes, tableaux et liens en Markdown et plafonnez la longueur selon le budget de votre modèle. Vous pouvez le faire à la main, avec des bibliothèques open source, ou en un seul appel API : WebReaderAPI renvoie le Markdown et les métadonnées pour un crédit par page, à partir de 0,07 $US/1K pages en octobre 2026. Sans KYC ; payez en crypto.
Trois façons d'obtenir du Markdown depuis une page web
| À la main | Copiez le texte depuis le navigateur ou sa vue lecture ; suffisant pour quelques pages |
|---|---|
| Bibliothèques open source | Readability, Trafilatura, MarkItDown ou Crawl4AI dans votre propre fetcher |
| Une API de lecture de pages web | GET https://webreaderapi.com/api/v1/read?url=… renvoie le Markdown, le titre, l'auteur et la date |
| Contrôle de la longueur | max_chars sur WebReaderAPI, ou coupez le texte vous-même après conversion |
| Pages JavaScript | Nécessite un navigateur headless ; WebReaderAPI les rend lorsque c'est nécessaire, pour 2 crédits |
Quelle méthode dois-je utiliser ?
Choisissez selon le volume et selon l'infrastructure que vous voulez faire tourner.
| Méthode | Adaptée à | À votre charge |
|---|---|---|
| Copier-coller | Une poignée de pages, une requête ponctuelle | Le nettoyage à la main |
| Bibliothèque dans votre code | Volumes réguliers, contrôle total | Récupération, navigateurs, robots.txt, PDF, nouvelles tentatives |
| API de lecture de pages web | Agents et pipelines qui lisent de nombreux sites | Uniquement la requête et le résultat |
Les bibliothèques vous donnent le contrôle sans frais par page. Le coût est opérationnel : un navigateur headless pour les pages JavaScript, une vérification de robots.txt, la gestion du jeu de caractères et des redirections, et un chemin séparé pour les PDF. Une API regroupe tout cela en un seul appel HTTP.
Que doit conserver un bon Markdown, et que doit-il supprimer ?
Un bon Markdown conserve chaque élément porteur de sens et supprime tout ce qui n'existe que pour la mise en page ou le marketing.
- Conservez les titres en
#,##et###: ils indiquent au modèle, et à votre chunker, où commence chaque sujet. - Conservez les listes et les tableaux sous forme de listes Markdown et de tableaux à barres verticales, pour que les étapes et les chiffres restent lisibles.
- Conservez les liens en
[text](url): ils permettent à un assistant de citer et de suivre les sources. - Conservez les blocs de code délimités, avec le langage lorsque la page l'indique.
- Supprimez les menus, les bannières de cookies, les publicités, les widgets d'articles liés et les pieds de page : ils se répètent sur chaque page et polluent la récupération.
Vérifiez le résultat sur quelques-unes de vos vraies pages. Les outils d'extraction divergent surtout sur les forums, les longs tableaux et les pages contenant plusieurs articles.
De combien le Markdown est-il plus petit que le HTML ?
Généralement bien plus petit, car l'habillage de la page et le balisage disparaissent. Lorsque Cloudflare a lancé sa fonctionnalité Markdown for Agents le 12 février 2026, sa page d'exemple est passée de 16 180 tokens en HTML à 3 150 tokens en Markdown, environ 80 % de moins.
Votre propre ratio dépend du site. Les longs articles diminuent moins, en pourcentage, que les pages courtes enveloppées dans des templates lourds. Mesurez sur vos sources avant de dimensionner un budget.
Comment garder une page dans le budget de tokens de mon modèle ?
Plafonnez le texte avant qu'il n'atteigne le modèle, puis découpez ce qui reste au niveau des titres. Avec WebReaderAPI, le paramètre max_chars coupe le Markdown à une longueur définie, entre 1 000 et 500 000 caractères. Le champ word_count vous indique la longueur de l'article complet, pour qu'un agent puisse décider si lire le reste en vaut la peine.
Pour la récupération, découpez d'abord sur les titres, puis coupez les longues sections. Un chunk qui commence par son propre titre conserve son sujet ; un chunk coupé en pleine phrase depuis une longue page, non.
import os
import re
import requests
API = "https://webreaderapi.com/api/v1/read"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}
def page_to_chunks(url, max_chars=60000, chunk_len=1500):
params = {"url": url, "format": "markdown", "max_chars": max_chars}
resp = requests.get(API, headers=HEADERS, params=params, timeout=90)
data = resp.json()
if resp.status_code != 200:
print("not read:", data["error"]["code"])
return []
chunks = []
for section in re.split(r"\n(?=#{1,3} )", data["markdown"]):
section = section.strip()
while section:
chunks.append(section[:chunk_len])
section = section[chunk_len:]
return [{"text": c, "source": data["final_url"], "title": data["title"]} for c in chunks]
if __name__ == "__main__":
for chunk in page_to_chunks("https://example.com/guides/compost")[:3]:
print(chunk["title"], "|", chunk["text"][:80])
Qu'est-ce qui tourne mal d'habitude, et comment le repérer ?
Quatre problèmes expliquent la plupart des mauvaises conversions :
- Sortie vide. La page construit son contenu en JavaScript. Cherchez un
word_countfaible ; rendez la page dans un navigateur, ou définissezrender=true. - Texte de cookies ou de consentement dans le résultat. L'extracteur a conservé une bannière. Privilégiez l'extraction du contenu principal et vérifiez les premières lignes de chaque résultat.
- Tableaux manquants. Certains sites dessinent les tableaux en images ou en éléments canvas ; aucun extracteur de texte ne peut les lire.
- Un refus au lieu d'une page. Le site interdisait l'accès dans robots.txt ou a refusé la requête. Respectez-le : demandez l'accès au propriétaire, ou utilisez une API ou un flux officiel si le site en propose un.
Aucun de ces problèmes ne se règle en réessayant plus vite. Lisez l'erreur, puis changez de méthode ou de source.
Page web en Markdown : questions fréquentes
Le Markdown est-il meilleur que le texte brut pour un LLM ?
Pour la plupart des pages, oui. Le Markdown conserve les titres, les listes, les tableaux et les liens à un faible coût en tokens, de sorte que le modèle voit la structure et peut citer les sources. Le texte brut est légèrement plus court mais perd cette structure.
Puis-je convertir un site entier, pas seulement une page ?
Oui. Crawlez-le et convertissez chaque page. L'API de crawl de WebReaderAPI fait les deux en une seule tâche : Crawl d'un seul site web par job, jusqu'à 10 000 pages, en suivant son sitemap, son robots.txt et son Crawl-delay.
Puis-je convertir un PDF de la même façon ?
Oui, en envoyant l'URL du PDF au même endpoint. Les fichiers PDF jusqu'à 20 MB et 100 pages sont convertis en Markdown, à 1 crédit par bloc de 10 pages entamé.
Et les pages derrière un login ?
Ne les convertissez pas via un service tiers, sauf s'il s'agit des vôtres et que vous les avez exportées vous-même. WebReaderAPI ne lit que les pages publiques et ne se connecte jamais aux comptes.
Existe-t-il un moyen gratuit de le faire ?
Les bibliothèques open source sont gratuites et tournent sur vos propres machines. WebReaderAPI n'a pas d'offre gratuite ; son plus petit pack est à 10 000 pages pour 3,75 $US, payable en crypto sans KYC.
Sources (1)
- Présentation de Markdown for Agents — Cloudflare (2026-02-12)