Réponse rapide
Comment générer un fichier llms.txt pour mon site ?
Crawlez votre propre site, prenez le titre et le premier paragraphe de chaque page, et écrivez-les sous forme de liste Markdown sous le nom de votre site dans un fichier à l'emplacement /llms.txt. WebReaderAPI effectue le crawl : jusqu'à 10 000 pages par job, en Markdown avec métadonnées, à un crédit par page à partir de 0,07 $US/1K pages en octobre 2026. Le script Python ci-dessous écrit le fichier. Sans KYC ; payez en crypto.
llms.txt en bref
| Ce que c'est | Un fichier Markdown proposé à la racine d'un site qui liste ses pages clés pour les modèles de langage |
|---|---|
| Adoption, 1 000 premiers sites | 9,3 % (93 sites) le 18 septembre 2026, selon Rankability |
| Sites disposant du fichier | De 4 088 à 36 120 entre juin 2025 et mai 2026, selon Originality.ai |
| Utilisation mesurée | 97 % des fichiers llms.txt n'ont reçu aucune requête dans une étude Ahrefs portant sur 137 000 domaines |
| Coût de construction avec WebReaderAPI | Un crédit par page crawlée ; 10 000 pages coûtent 3,75 $US |
llms.txt vaut-il la peine d'être créé ?
Sa création est peu coûteuse, et son effet mesuré reste faible à ce jour. L'adoption progresse : Rankability a trouvé le fichier sur 9,3 % des 1 000 meilleurs sites le 18 septembre 2026, contre 0,3 % en juin 2025, bien que sa méthode ait changé entre les deux comptages. Originality.ai a compté les sites disposant du fichier, passant de 4 088 à 36 120 entre juin 2025 et mai 2026.
L'utilisation est une autre affaire. Une étude Ahrefs portant sur 137 000 domaines, rapportée par PPC Land le 2 juillet 2026, a constaté que 97 % des fichiers llms.txt ne recevaient aucune requête, et que les bots de récupération IA effectuaient 1,1 % des requêtes que les fichiers recevaient. Créez-en un si votre documentation est volumineuse et que vous voulez un index propre ; n'attendez pas qu'il modifie à lui seul la façon dont les assistants vous citent.
Que contient un fichier llms.txt ?
Un titre, un résumé d'un paragraphe, puis des listes de liens regroupées avec une courte description pour chacun. Un fichier minimal ressemble à ceci :
# Example Docssur la première ligne, le nom du site ou du projet.> One sentence on what the site covers.comme résumé entre guillemets.## Guides,## API referenceet d'autres sections, une par partie du site.- [Page title](https://example.com/page): one line on what the page answers.pour chaque page.
Gardez des descriptions factuelles et courtes. N'écrivez pas d'instructions destinées aux systèmes d'IA dans le fichier ; les assistants traitent de plus en plus ce type de texte comme une manipulation.
import os
import time
from collections import defaultdict
from urllib.parse import urlparse
import requests
API = "https://webreaderapi.com/api/v1"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}
SITE = "https://docs.example.com/"
def first_paragraph(markdown):
for block in markdown.split("\n\n"):
block = block.strip()
if block and not block.startswith(("#", "-", "|", "!", ">")):
return " ".join(block.split())[:160]
return ""
job = requests.post(API + "/crawl", headers=HEADERS, json={"url": SITE, "limit": 300}, timeout=60).json()
pages, cursor, delay = [], None, 5
while True:
params = {"cursor": cursor} if cursor else {}
batch = requests.get(API + "/jobs/" + job["job_id"], headers=HEADERS, params=params, timeout=60).json()
pages += [p for p in batch.get("results", []) if "markdown" in p]
cursor = batch.get("next_cursor")
if batch["status"] == "done" and not cursor:
break
if not cursor:
time.sleep(delay)
delay = min(delay * 2, 60)
sections = defaultdict(list)
for p in pages:
path = urlparse(p["final_url"]).path.strip("/")
section = path.split("/")[0].replace("-", " ").title() if path else "Home"
summary = p.get("description") or first_paragraph(p["markdown"])
sections[section].append("- [" + p["title"] + "](" + p["final_url"] + "): " + summary)
lines = ["# Example Docs", "", "> Documentation for the Example product.", ""]
for name in sorted(sections):
lines += ["## " + name, ""] + sorted(sections[name]) + [""]
with open("llms.txt", "w", encoding="utf-8") as fh:
fh.write("\n".join(lines))
print(len(pages), "pages written to llms.txt")
Comment fonctionne le script ?
Il lance une tâche de crawl, collecte les résultats page par page, puis regroupe les pages par le premier dossier de leur chemin. Pour chaque page, il utilise la méta description quand le site en fournit une, et sinon le premier paragraphe du Markdown, tronqué à 160 caractères.
Modifiez SITE, la ligne de titre et la ligne de résumé pour correspondre à votre projet, et augmentez limit pour un site plus grand, jusqu'à 10 000 pages par tâche. Relisez la sortie avant de la publier : les noms de sections proviennent de la structure de vos URL et peuvent nécessiter une retouche humaine.
Mon robots.txt doit-il autoriser le crawl ?
Oui. WebReaderAPI ne lit que ce que robots.txt autorise pour WebReaderAPI ou pour tous les robots, et il respecte tout Crawl-delay que vous définissez. Si votre propre site bloque les robots, ajoutez un groupe qui autorise notre token pendant la durée du crawl ; notre page crawler montre les lignes exactes.
Les pages interdites par robots.txt sont ignorées et non facturées, donc un fichier strict ne vous coûte rien de plus ; il exclut simplement ces pages de llms.txt.
Combien cela coûte-t-il ?
Un crédit par page lue, deux pour les pages qui nécessitent un navigateur. Un site de documentation de 300 pages coûte 300 crédits, ou jusqu'à 600 s'il s'agit d'une application JavaScript. Cela tient facilement dans 10 000 pages pour 3,75 $US, en date d'octobre 2026, et les crédits restants demeurent sur votre compte : ils n'expirent jamais.
Reconstruisez le fichier quand votre documentation change. Si vous conservez la sortie du crawl, vous pouvez relire uniquement les pages modifiées avec une tâche par lots au lieu de tout crawler à nouveau.
llms.txt : questions fréquentes
Où placer le fichier llms.txt ?
À la racine de votre site, pour qu'il soit servi à /llms.txt, en texte brut ou en Markdown. Certains sites publient aussi llms-full.txt avec le texte intégral des pages listées.
llms.txt remplace-t-il robots.txt ?
Non. robots.txt indique quels chemins les robots doivent éviter ; llms.txt liste les pages que vous voulez que les modèles trouvent. Gardez les deux. Notre guide robots.txt explique la différence.
llms.txt fera-t-il citer mon site par ChatGPT ou Claude ?
Rien ne prouve qu'il le fait à lui seul. L'étude Ahrefs rapportée en juillet 2026 a constaté que 97 % des fichiers ne recevaient aucune requête. Des pages claires avec des réponses directes et des faits datés comptent davantage.
Puis-je générer un llms.txt pour le site de quelqu'un d'autre ?
Uniquement pour vos propres sites ou avec l'accord du propriétaire. Le fichier parle au nom du site, il appartient donc au propriétaire du site de le publier.
Sources (2)
- Données d'adoption de llms.txt — Rankability (2026-09-18)
- L'adoption de llms.txt est multipliée par 8,8 mais 97 % des fichiers ne reçoivent aucune requête IA — PPC Land (2026-07-02)