# Convertir votre site web en Markdown : le crawler et exporter chaque page

> Convertissez votre site en Markdown : explorez-le et exportez chaque page avec front matter pour une migration ou votre assistant. Sans KYC.

- URL: https://webreaderapi.com/fr/use-cases/website-to-markdown/
- Dernière mise à jour: 2026-10-22
- Éditeur: WebReaderAPI (https://webreaderapi.com)

Passer à un générateur de site statique, une plateforme de documentation ou une base de connaissances commence souvent par une question : comment récupérer mes pages en Markdown propre ? Un crawl le fait en une seule tâche, avec titres, dates et URL conservés dans le front matter.

**Réponse rapide — Comment convertir tout mon site web en Markdown ?**

Crawlez votre site, lisez le contenu principal de chaque page en Markdown, et écrivez un fichier `.md` par page avec son titre, son URL et sa date dans le front matter. **WebReaderAPI** crawle jusqu'à 10 000 pages par tâche, suit votre sitemap et votre robots.txt, et facture un crédit par page à partir de 0,07 $US/1K pages aux prix d'octobre 2026. Un script Python ci-dessous écrit les fichiers. Sans KYC ; payez en crypto.

## Export du site web avec WebReaderAPI

| Attribut | Valeur |
| --- | --- |
| Endpoint | `POST https://webreaderapi.com/api/v1/crawl`, résultats de `GET https://webreaderapi.com/api/v1/jobs/{job_id}` |
| Portée | Crawl d'un seul site web par job, jusqu'à 10 000 pages, en suivant son sitemap, son robots.txt et son Crawl-delay |
| Par page | Markdown du contenu principal, plus titre, description, auteur, date et langue |
| Pages entières | `main_content=false` conserve la navigation et les pieds de page quand vous en avez besoin |
| Votre robots.txt | Doit autoriser `WebReaderAPI` pour les pages que vous exportez |
| Prix | 3,75 $US pour 10 000 pages ; les crédits n'expirent jamais |

## Quand un export Markdown est-il utile ?

Chaque fois que le contenu doit quitter le système qui le rend. Cas courants :

- **Migrations.** Passer d'un CMS à un générateur de site statique ou à une plateforme de documentation qui stocke les pages en Markdown.
- **Sauvegardes.** Une archive lisible de vos pages publiées qui ne dépend d'aucune base de données ni d'aucun thème.
- **Votre propre assistant.** Alimenter le texte de votre site dans un bot d'aide ou une recherche interne, avec chaque chunk lié à sa page.
- **Audits.** Lire toutes vos pages en texte brut pour repérer des affirmations obsolètes, des formulations cassées ou du contenu dupliqué.

Dans chaque cas, vous voulez les mots et la structure, pas le thème autour.

*Python : crawler votre site dans des fichiers Markdown avec front matter*

```python
import os
import pathlib
import time
from urllib.parse import urlparse

import requests

API = "https://webreaderapi.com/api/v1"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}
SITE = "https://www.example.com/"
OUT = pathlib.Path("export")


def target_path(url):
    path = urlparse(url).path.strip("/") or "index"
    return OUT / (path + ".md")


def front_matter(page):
    fields = {"title": page.get("title", ""), "source": page["final_url"], "date": page.get("published_at") or ""}
    lines = ["---"] + [key + ": " + repr(value) for key, value in fields.items()] + ["---", ""]
    return "\n".join(lines)


job = requests.post(API + "/crawl", headers=HEADERS, json={"url": SITE, "limit": 2000, "max_depth": 5}, timeout=60).json()
cursor, delay, written = None, 5, 0
while True:
    params = {"cursor": cursor} if cursor else {}
    batch = requests.get(API + "/jobs/" + job["job_id"], headers=HEADERS, params=params, timeout=60).json()
    for page in batch.get("results", []):
        if "markdown" not in page:
            continue
        dest = target_path(page["final_url"])
        dest.parent.mkdir(parents=True, exist_ok=True)
        dest.write_text(front_matter(page) + page["markdown"] + "\n", encoding="utf-8")
        written += 1
    cursor = batch.get("next_cursor")
    if batch["status"] == "done" and not cursor:
        break
    if not cursor:
        time.sleep(delay)
        delay = min(delay * 2, 60)
print(written, "files in", OUT)

```

## Comment conserver l'arborescence des dossiers et les URL ?

Reproduisez le chemin de l'URL dans le chemin du fichier, comme le fait le script : `/guides/setup/` devient `export/guides/setup.md`. Gardez l'URL d'origine dans le front matter comme `source`, pour pouvoir mettre en place des redirections après la migration et vérifier que rien n'a été perdu.

Les liens dans le Markdown pointent toujours vers vos URL actuelles. Après le déménagement, remplacez le domaine ou le préfixe de chemin en une passe, puis testez un échantillon de pages. Les tableaux et les blocs de code restent en Markdown, donc la plupart des générateurs statiques les rendent sans modifications.

## Et si mon propre robots.txt bloque les crawlers ?

Autorisez notre token le temps de l'export. WebReaderAPI ne lit que ce que robots.txt permet pour `WebReaderAPI` ou pour tous les robots, y compris sur votre propre site. Ajoutez un groupe comme `User-agent: WebReaderAPI` avec `Allow: /`, lancez le crawl, puis retirez-le si vous le souhaitez.

Notre [page crawler](https://webreaderapi.com/fr/bot/) indique les lignes exactes et le User-Agent que les logs de votre serveur afficheront. Les pages qui restent interdites sont ignorées et non facturées.

## Combien coûte un export ?

Un crédit par page, deux pour les pages qui nécessitent un navigateur pour afficher leur texte. Un site de 2 000 pages rendu côté serveur coûte 2 000 crédits une fois ; le même site en application JavaScript peut coûter jusqu'à 4 000. Les deux tiennent dans 10 000 pages pour 3,75 $US, aux prix d'octobre 2026.

Un site de 50 000 pages nécessite plusieurs tâches, découpées par section avec `include_paths`, et tient dans 100 000 pages (21,75 $US). Les crédits qui restent après l'export restent sur votre compte pour des rafraîchissements ultérieurs.

## Quel pack couvre mon export ?

Comptez vos pages, doublez le nombre si le site nécessite JavaScript pour s'afficher, puis choisissez le pack au-dessus. Les crédits n'expirent jamais.

| Offre | Quantité | Prix | Prix par unité |
| --- | --- | --- | --- |
| Test | 10 000 pages | 3,75 $US | 0,38 $US/1K pages |
| Starter | 50 000 pages | 14,25 $US | 0,28 $US/1K pages |
| Build | 100 000 pages | 21,75 $US | 0,22 $US/1K pages |

Dans chaque offre: Extraction du contenu principal · Rendu JavaScript si nécessaire · Pages en échec et refusées non facturées · Les crédits n'expirent jamais

**Avant de payer**

- Recharge minimum 25 $US. Rechargez une fois en crypto, puis achetez n'importe quelle offre depuis votre solde.
- Votre solde n'a pas de date d'expiration et peut acheter des crédits de page à tout moment. Si un pack coûte moins que le dépôt minimum, le montant que vous avez ajouté uniquement pour atteindre ce minimum peut être renvoyé sur demande dans les 30 jours suivant le paiement, en USDT ou USDC, tant que vous ne l'avez pas dépensé. Tout autre solde n'est pas remboursé, sauf si la loi en dispose autrement.
- Crédité dès que votre paiement a été vérifié sur la blockchain. Délai habituel de confirmation du réseau : BTC ≈ 20 min · USDT TRC-20 ≈ 1 min · USDT ERC-20 ≈ 5 min · USDC ERC-20 ≈ 5 min · ETH ≈ 5 min · SOL ≈ 1 min · LTC ≈ 15 min

## Site web vers Markdown : questions fréquentes

### Puis-je exporter la page entière, menus et pied de page inclus ?

Oui. Activez `main_content=false` dans les options de crawl et chaque fichier contient la page complète convertie en Markdown. La plupart des migrations préfèrent le contenu principal uniquement, car le nouveau thème fournit sa propre navigation.

### Les images sont-elles téléchargées ?

Non. Avec `include_images=true`, les liens des images restent dans le Markdown avec leur texte alternatif ; téléchargez les fichiers eux-mêmes avec votre propre script si la migration en a besoin.

### Puis-je exporter un site qui ne m'appartient pas ?

Uniquement les pages publiques autorisées par son robots.txt, et seulement pour des usages permis par ses conditions et la loi. Pour une migration ou une sauvegarde, exportez vos propres sites ou des sites dont le propriétaire est d'accord.

### Quelle taille de site un job peut-il traiter ?

Jusqu'à 10 000 pages par job de crawl, dans un même domaine. Découpez les sites plus grands par section avec `include_paths` et lancez plusieurs jobs.

---

WebReaderAPI: WebReaderAPI est une API de lecture de pages web pour agents IA qui transforme toute page web publique en Markdown propre, payable en crypto sans envoi de pièce d'identité. Les crédits prépayés à partir de 0,07 $US/1K pages n'expirent jamais, et robots.txt est respecté. Sans KYC — pas de pièce d'identité, pas de selfie, pas de documents. Payez en crypto.