Réponse rapide
Les agents IA doivent-ils suivre robots.txt ?
Cela dépend du fournisseur. robots.txt est une norme volontaire (RFC 9309, septembre 2022). Les crawlers qui construisent des index la suivent généralement ; pour les récupérations déclenchées par un utilisateur, OpenAI indique que ses règles peuvent ne pas s'appliquer, Google et Perplexity indiquent que leurs fetchers les ignorent généralement, et Anthropic indique que ses bots les respectent. WebReaderAPI suit robots.txt à chaque lecture, sans KYC et avec paiement en crypto.
robots.txt et IA en octobre 2026
| Norme | RFC 9309, Robots Exclusion Protocol, septembre 2022 |
|---|---|
| OpenAI ChatGPT-User | les règles de robots.txt « peuvent ne pas s'appliquer » aux actions déclenchées par l'utilisateur |
| Anthropic (y compris Claude-User) | Indique que ses bots respectent les directives de robots.txt, y compris Crawl-delay |
| Fetchers déclenchés par l'utilisateur de Google | « ignorent généralement les règles de robots.txt » (page mise à jour le 2026-08-19) |
| Perplexity-User | « ignore généralement les règles de robots.txt » |
| Content Signals | Politique Cloudflare du 24 septembre 2025 : search, ai-input, ai-train |
| Préférences IA de l'IETF | Brouillons de groupe de travail, pas encore une RFC |
| WebReaderAPI | Respecte robots.txt et ai-input=no à chaque lecture ; jeton WebReaderAPI |
À quoi sert réellement robots.txt ?
Il indique aux clients automatisés les chemins qu'un site préfère leur voir éviter. Le fichier se trouve à la racine d'un hôte, regroupe les règles par jeton user-agent et utilise des lignes Allow et Disallow. La RFC 9309, publiée en septembre 2022, a fait de cette convention de longue date un standard.
La RFC précise clairement que le fichier ne verrouille rien : « These rules are not a form of access authorization. » Le respect est volontaire. C'est pourquoi la politique déclarée de chaque fournisseur compte, et pourquoi les sites qui veulent des limites strictes utilisent aussi des pare-feu et de la gestion de bots.
Pourquoi les crawlers et les fetchers déclenchés par l'utilisateur diffèrent-ils ?
Un crawler décide lui-même quelles pages visiter ; un fetcher déclenché par l'utilisateur visite une page parce qu'une personne l'a demandé. Beaucoup de fournisseurs traitent le second cas comme un navigateur agissant pour son utilisateur, et indiquent que robots.txt ne s'applique pas entièrement.
| Fetcher | Politique déclarée (consultée le 2026-10-22) |
|---|---|
| OpenAI ChatGPT-User | Les règles de robots.txt « peuvent ne pas s'appliquer » aux actions initiées par l'utilisateur ; les sites sont renvoyés à OAI-SearchBot pour le refus d'indexation en recherche |
| Anthropic Claude-User | Anthropic indique que ses bots respectent les directives de robots.txt ; bloquer Claude-User empêche la récupération pour les requêtes des utilisateurs |
| Fetchers déclenchés par l'utilisateur de Google | « ignorent généralement les règles de robots.txt » car un utilisateur a demandé la récupération |
| Perplexity-User | « ignore généralement les règles de robots.txt » pour la même raison |
| Serveur de fetch de référence MCP | Respecte robots.txt par défaut pour les fetches initiés par le modèle, pas pour ceux initiés par l'utilisateur |
La distinction est réelle et documentée. Si vous créez un agent, décidez de quel côté vous êtes et indiquez-le dans votre user agent et votre documentation.
Que sont Content Signals, aipref et RSL ?
Ce sont de nouveaux moyens de préciser ce que les systèmes d'IA peuvent faire avec le contenu, et pas seulement si un robot peut le récupérer.
- Content Signals. Cloudflare a publié cette politique le 24 septembre 2025. Un robots.txt peut indiquer
search,ai-input(utilisation comme entrée d'une réponse IA, par exemple pour le grounding) etai-train. Le robots.txt géré par Cloudflare sertsearch=yes, ai-train=nopar défaut. - Préférences IA de l'IETF (aipref). Les brouillons de vocabulaire et de rattachement du groupe de travail étaient encore des Internet-Drafts en octobre 2026, destinés à devenir des Proposed Standards.
- Web Bot Auth. Un moyen pour les bots de signer leurs requêtes ; le groupe de travail de l'IETF a adopté son brouillon de protocole le 1er septembre 2026.
- RSL (Really Simple Licensing). Son site indique que la spécification RSL 1.0 est disponible ; elle permet aux éditeurs d'énoncer des conditions de licence, y compris le paiement au crawl, via robots.txt, des en-têtes ou RSS.
llms.txt est-il la même chose que robots.txt ?
Non. robots.txt indique ce qu'il ne faut pas récupérer ; llms.txt est un fichier proposé qui liste les pages clés d'un site pour les modèles de langage. Son adoption progresse mais son usage mesuré reste faible. Rankability a relevé la présence de llms.txt sur 9,3 % des 1 000 principaux sites le 18 septembre 2026. Une étude Ahrefs portant sur 137 000 domaines, rapportée par PPC Land le 2 juillet 2026, a constaté que 97 % des fichiers llms.txt ne recevaient aucune requête.
Notre guide llms.txt explique comment en créer un à partir d'un crawl de votre propre site, si vous en voulez un malgré tout.
Comment WebReaderAPI traite-t-il robots.txt ?
Il le respecte à chaque lecture, y compris les lectures déclenchées par un client. Nous respectons robots.txt : notre crawler s'identifie comme WebReaderAPI, suit les règles écrites pour lui ou pour tous les robots, et ne lit pas une page qu'un site interdit. Les pages refusées ne sont pas facturées. Si un site déclare Content-Signal: ai-input=no dans son robots.txt, nous ne lisons pas ses pages pour vous. Pour les tâches de crawl, il attend aussi le Crawl-delay défini par un site.
Chaque requête porte le même User-Agent, WebReaderAPI/1.0 (+https://webreaderapi.com/bot/), afin que les propriétaires de sites puissent nous voir dans leurs logs et écrire des règles pour nous. Notre page crawler donne les détails et un contact en cas de problème.
# Block WebReaderAPI from the whole site
User-agent: WebReaderAPI
Disallow: /
# Or: allow it, but keep it out of one folder and slow it down
User-agent: WebReaderAPI
Disallow: /account/
Crawl-delay: 5
# Or: allow reading for search, but not as AI input (Content Signals)
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
robots.txt pour l'IA : questions fréquentes
Bloquer GPTBot empêche-t-il ChatGPT de lire ma page pour un utilisateur ?
Pas nécessairement. OpenAI documente des jetons distincts : GPTBot pour l'entraînement, OAI-SearchBot pour la recherche et ChatGPT-User pour les actions de l'utilisateur, et indique que les règles de robots.txt peuvent ne pas s'appliquer aux actions initiées par l'utilisateur. Vérifiez la documentation actuelle de chaque fournisseur.
robots.txt a-t-il une valeur juridique ?
Pas en soi ; la RFC 9309 précise qu'il ne s'agit pas d'une autorisation d'accès. Dans l'UE, les opt-outs lisibles par machine comptent pour la fouille de textes et de données au titre de la directive DSM. Voir notre aperçu juridique ; il ne s'agit pas d'un avis juridique.
Comment bloquer WebReaderAPI ?
Ajoutez un groupe User-agent: WebReaderAPI avec Disallow: / à votre robots.txt. Nos lectures le vérifient avant chaque page ; les pages interdites ne sont jamais lues.
WebReaderAPI lit-il les pages qui indiquent ai-input=no ?
Non. Si un site déclare Content-Signal: ai-input=no dans son robots.txt, nous ne lisons pas ses pages pour vous. L'API renvoie 403 blocked_by_site_policy au client, sans frais.
Sources (12)
- RFC 9309 : Robots Exclusion Protocol — RFC Editor (September 2022)
- Présentation des crawlers OpenAI — OpenAI (read 2026-10-22)
- Anthropic crawle-t-il des données du web, et comment les propriétaires de sites peuvent-ils bloquer le crawler ? — Anthropic (2026-04-07)
- Fetchers déclenchés par l'utilisateur de Google — Google (updated 2026-08-19)
- Crawlers Perplexity — Perplexity (read 2026-10-22)
- Serveur de fetch MCP — Model Context Protocol (read 2026-10-22)
- Content Signals Policy — Cloudflare (2025-09-24)
- Documents du groupe de travail AI Preferences — IETF (read 2026-10-22)
- Documents du groupe de travail Web Bot Auth — IETF (read 2026-10-22)
- Really Simple Licensing — rslstandard.org (read 2026-10-22)
- Données d'adoption de llms.txt — Rankability (2026-09-18)
- L'adoption de llms.txt est multipliée par 8,8 mais 97 % des fichiers ne reçoivent aucune requête IA — PPC Land (2026-07-02)