Réponse rapide
Qu'est-ce que le bot WebReaderAPI, et comment le bloquer ?
Le bot WebReaderAPI récupère des pages publiques lorsqu'un de nos clients demande à l'API de les lire. Il envoie le user agent WebReaderAPI/1.0 (+https://webreaderapi.com/bot/) et respecte les règles robots.txt écrites pour le token WebReaderAPI ou pour tous les robots. Pour le bloquer partout, ajoutez User-agent: WebReaderAPI suivi de Disallow: / à votre robots.txt.
Le bot en bref
| En-tête User-Agent | WebReaderAPI/1.0 (+https://webreaderapi.com/bot/) |
|---|---|
| Token robots.txt | WebReaderAPI |
| robots.txt | Nous respectons robots.txt : notre crawler s'identifie comme WebReaderAPI, suit les règles écrites pour lui ou pour tous les robots, et ne lit pas une page qu'un site interdit. Les pages refusées ne sont pas facturées |
| Signaux de préférence IA | Si un site déclare Content-Signal: ai-input=no dans son robots.txt, nous ne lisons pas ses pages pour vous |
| Quand un site refuse | Si un site refuse notre requête, nous renvoyons sa réponse : nous ne résolvons jamais de CAPTCHA, ne nous connectons pas à des comptes et ne cherchons pas à contourner un blocage ou un paywall |
| Copies de vos pages | Aucune conservée après l'envoi de la réponse au client |
| Tâches de crawl | Crawl d'un seul site web par job, jusqu'à 10 000 pages, en suivant son sitemap, son robots.txt et son Crawl-delay |
| Contact | [email protected] |
Pourquoi WebReaderAPI a-t-il récupéré ma page ?
Parce qu'un client de l'API l'a demandé. WebReaderAPI ne construit pas son propre index du web et ne navigue pas de sa propre initiative. Chaque récupération correspond à l'un des trois types de requête :
- Une lecture unique : une application ou un agent IA a envoyé votre URL à
/read, généralement parce qu'une personne a posé une question à laquelle votre page répond. - Une tâche par lots : un client a envoyé une liste pouvant aller jusqu'à 100 URL, et la vôtre y figurait.
- Une tâche de crawl : un client nous a demandé de lire un site entier, à partir d'une adresse et en restant sur ce domaine. Les crawls suivent votre sitemap et votre robots.txt.
Le client reçoit le texte principal de la page en Markdown. Nous n'en conservons ensuite aucune copie.
Comment bloquer le bot sur tout mon site ?
Ajoutez un groupe pour notre token dans votre fichier robots.txt. Le bot lit /robots.txt avant de récupérer une page et le met en cache pendant 24 heures au maximum, donc une modification s'applique dans la journée au plus tard.
User-agent: WebReaderAPI
Disallow: /
Puis-je bloquer seulement une partie de mon site, ou ralentir le bot ?
Oui. Listez les dossiers que vous voulez exclure sous Disallow, et définissez un Crawl-delay en secondes pour les tâches de crawl. Les règles écrites pour tous les robots (User-agent: *) s'appliquent aussi à nous lorsque vous n'avez pas de groupe pour notre token. Lorsque vous en avez un, ce groupe l'emporte, comme le décrit la RFC 9309.
User-agent: WebReaderAPI
Disallow: /account/
Disallow: /drafts/
Crawl-delay: 5
Le bot respecte-t-il les signaux de préférence IA ?
Oui, ceux qu'un site déclare dans robots.txt. Si votre fichier déclare Content-Signal: ai-input=no, nous l'interprétons comme un refus que vos pages soient utilisées comme entrée pour des réponses IA, et nous ne les lisons pas pour nos clients. L'API renvoie alors l'erreur blocked_by_site_policy au client, qui n'est pas facturé.
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
Que fait le bot lorsque mon site le refuse ?
Il s'arrête et rapporte votre réponse. Un statut 403 ou 429, une page de challenge, un formulaire de connexion ou un paywall mettent tous fin à la requête. Le client reçoit l'erreur target_refused avec votre code de statut, et n'est pas facturé pour cela.
Le bot ne résout jamais de challenges, ne se connecte jamais, ne change jamais son user agent pour ressembler à un navigateur et ne réessaie jamais déguisé. Si vous voulez que nous lisions vos pages, autorisez le token dans robots.txt et laissez passer les requêtes ; sinon, rien de plus n'est nécessaire de votre côté.
Que ne promet pas encore WebReaderAPI ?
Nous ne publions pas de liste d'adresses IP aujourd'hui, donc identifiez le bot par son user agent et son comportement vis-à-vis de robots.txt, pas par IP. Les pages lues avec l'option country partent d'une adresse située dans le pays choisi, toujours avec le même user agent. Nous ajouterons nos plages d'adresses à cette page dès qu'elles seront fixées, avec la date du changement.
Comment signaler un problème avec le bot ?
Écrivez à [email protected] avec la date et l'heure, votre domaine, l'URL récupérée et une ligne de votre journal d'accès montrant notre user agent. Une personne lit chaque signalement et le vérifie dans nos logs. Si un client utilise l'API en violation de notre Politique d'utilisation acceptable, son compte est suspendu.
Pour vérifier qu'une requête vient bien de nous, comparez le user agent et le comportement vis-à-vis de robots.txt avec cette page. Un client qui ignore vos règles robots.txt tout en utilisant notre nom n'est pas notre bot.
Questions des propriétaires de sites
Le bot WebReaderAPI est-il un crawler de moteur de recherche ?
Non. Il n'indexe pas le web et ne classe pas les pages. Il lit une page uniquement lorsqu'un client de l'API demande cette page, dans une requête unique, un lot ou un crawl d'un seul site.
Bloquer le bot affectera-t-il mon classement sur Google ou Bing ?
Non. Les règles écrites pour WebReaderAPI ne concernent que notre bot. Les crawlers des moteurs de recherche suivent leurs propres groupes dans votre robots.txt.
Au bout de combien de temps une modification de robots.txt prend-elle effet ?
Dans les 24 heures au plus tard. Le bot met robots.txt en cache pendant un jour au maximum avant de le relire.
Le bot respecte-t-il Crawl-delay ?
Oui, pour les tâches de crawl, qui lisent plusieurs pages d'un même site. Une lecture unique correspond à une requête et n'est pas espacée.
Stockez-vous ou vendez-vous le contenu de mes pages ?
Non. Le texte de la page est transmis au client qui l'a demandé et n'est pas conservé par nous. Nos logs contiennent le nom d'hôte, l'heure, le statut et les crédits utilisés, pendant 30 jours.