Pourquoi les agents IA reçoivent des erreurs 403 en récupérant des pages web

Qu'est-ce qui a changé sur le web en 2025 et 2026 ?

Les grands fournisseurs d'infrastructure ont fait du blocage de l'IA une option par défaut. Trois changements datés expliquent la plupart des nouveaux 403 :

• 1er juillet 2025 : Cloudflare a annoncé bloquer désormais les crawlers IA par défaut, en demandant à chaque nouveau domaine lors de l'inscription s'il souhaite les autoriser. Le même jour, il a lancé pay per crawl en bêta privée, qui répond avec un HTTP 402 et un prix.
• 1er juillet 2026 : Cloudflare a introduit trois catégories de trafic IA : Search, Agent et Training. « Agent » inclut explicitement les fetchers de chat tels que ChatGPT-User.
• 15 septembre 2026 : pour les nouveaux domaines, les préréglages de Cloudflare bloquent le trafic Training et Agent sur les pages qui affichent des publicités ; Search reste autorisé.

Un agent qui récupère une page pour un utilisateur relève de la catégorie Agent. Sur les sites financés par la publicité intégrés après septembre 2026, attendez-vous à des refus.

Comment distinguer un blocage d'un bug ?

Lisez le code de statut et le body avant de changer quoi que ce soit.

Seuls le 429 et la page JavaScript vide sont des problèmes techniques que vous pouvez résoudre de votre côté. Les autres sont des décisions prises par le propriétaire du site.

Que peut faire légitimement un développeur d'agent ?

Travaillez avec le site, pas contre lui. Ces étapes résolvent de nombreux échecs et gardent votre agent du bon côté des propriétaires de sites :

1. Utilisez le canal propre au site. De nombreux sites proposent une API, un flux RSS ou Atom, ou un sitemap avec le contenu dont vous avez besoin.
2. Demandez l'accès. Les propriétaires de sites peuvent autoriser un bot nommé dans robots.txt ou dans les réglages de leur CDN. Un User-Agent clair et une page de contact facilitent cette démarche.
3. Rendez les pages autorisées mais vides. Pour les pages uniquement JavaScript, utilisez un reader qui exécute un navigateur headless.
4. Ralentissez et mettez en cache. Lisez la même page une fois, stockez-la et respectez les réponses Crawl-delay et 429.
5. Payez là où le site vend l'accès. Un 402 est une offre ; acceptez-la via le canal du site ou laissez la page de côté.

Chacune de ces étapes laisse le propriétaire du site aux commandes, ce qui permet aussi à votre agent de rester utile dans la durée.

Que ne dois-je jamais faire pour contourner un refus ?

Ne déguisez jamais l'agent et ne contournez jamais une protection. Falsifier le User-Agent d'un navigateur, faire tourner les adresses IP pour échapper à un blocage ou résoudre des pages de challenge transforme un client poli en un outil conçu pour contourner des contrôles d'accès. En 2026, deux tribunaux américains ont considéré ces techniques comme du contournement dans des procès portant sur l'accès automatisé à des résultats de recherche. Les affaires sont toujours en cours et rien n'est tranché, mais le risque n'est pas théorique.

Cela rompt aussi la confiance avec les sites dont dépendent vos utilisateurs. Un refus est une information : notez-le, indiquez à l'utilisateur que la page n'était pas disponible et passez à une autre source.

Que font les outils de récupération intégrés quand un site refuse ?

La plupart renvoient l'erreur au modèle, qui indique ensuite à l'utilisateur qu'il n'a pas pu lire la page. La documentation d'OpenClaw, consultée le 22 octobre 2026, indique que son web_fetch intégré extrait le contenu avec Readability, n'exécute pas JavaScript et limite la sortie à 20 000 caractères ; il peut se rabattre sur un fournisseur de récupération, et des plugins peuvent en enregistrer de nouveaux. Le serveur fetch de référence MCP respecte robots.txt par défaut pour les récupérations lancées par le modèle.

Quand ces outils échouent sur des pages qui autorisent robots mais nécessitent JavaScript, un reader qui rend les pages aide. Quand ils échouent parce que le site a refusé, aucun outil ne doit changer la réponse.

Que renvoie WebReaderAPI quand un site refuse ?

Il renvoie le refus clairement, et vous n'êtes pas facturé. Une page interdite par robots.txt renvoie 403 blocked_by_robots. Un site déclarant ai-input=no renvoie 403 blocked_by_site_policy. Un site qui refuse la requête d'une autre manière renvoie 502 target_refused, avec le code de statut propre au site dans target_status.

Si un site refuse notre requête, nous renvoyons sa réponse : nous ne résolvons jamais de CAPTCHA, ne nous connectons pas à des comptes et ne cherchons pas à contourner un blocage ou un paywall. Votre agent peut montrer à l'utilisateur exactement pourquoi une page a été ignorée. La page des erreurs liste chaque code avec la règle de retry correspondante.