Respuesta rápida
¿Qué es el bot de WebReaderAPI y cómo lo bloqueo?
El bot WebReaderAPI accede a páginas públicas cuando uno de nuestros clientes pide a la API que las lea. Envía el user agent WebReaderAPI/1.0 (+https://webreaderapi.com/bot/) y obedece las reglas de robots.txt escritas para el token WebReaderAPI o para todos los robots. Para bloquearlo en todo tu sitio, añade a tu robots.txt User-agent: WebReaderAPI seguido de Disallow: /.
El bot de un vistazo
| Cabecera User-Agent | WebReaderAPI/1.0 (+https://webreaderapi.com/bot/) |
|---|---|
| Token de robots.txt | WebReaderAPI |
| robots.txt | Respetamos robots.txt: nuestro rastreador se identifica como WebReaderAPI, sigue las reglas escritas para él o para todos los robots y no lee una página que un sitio prohíbe. Las páginas rechazadas no se cobran |
| Señales de preferencia de IA | Si un sitio declara Content-Signal: ai-input=no en su robots.txt, no leemos sus páginas para ti |
| Cuando un sitio dice no | Si un sitio rechaza nuestra solicitud, devolvemos su respuesta: nunca resolvemos CAPTCHAs, iniciamos sesión en cuentas ni intentamos saltar un bloqueo o un paywall |
| Copias de tus páginas | No se conserva ninguna después de enviar la respuesta al cliente |
| Trabajos de rastreo (crawl) | Rastrea un sitio web por trabajo, hasta 10.000 páginas, siguiendo su sitemap, su robots.txt y su Crawl-delay |
| Contacto | [email protected] |
¿Por qué WebReaderAPI accedió a mi página?
Porque un cliente de la API lo pidió. WebReaderAPI no crea su propio índice de la web ni navega por iniciativa propia. Cada acceso corresponde a uno de estos tres tipos de solicitud:
- Una lectura individual: una aplicación o un agente de IA envió tu URL a
/read, normalmente porque una persona hizo una pregunta que tu página responde. - Un trabajo por lotes: un cliente envió una lista de hasta 100 URL y la tuya estaba en ella.
- Un trabajo de rastreo (crawl): un cliente nos pidió leer un sitio entero, partiendo de una dirección y sin salir de ese dominio. Los rastreos siguen tu sitemap y tu robots.txt.
El cliente recibe el texto principal de la página en Markdown. Después no conservamos ninguna copia.
¿Cómo bloqueo el bot en todo mi sitio?
Añade un grupo para nuestro token a tu archivo robots.txt. El bot lee /robots.txt antes de acceder a una página y lo guarda en caché como máximo 24 horas, así que un cambio se aplica como tarde en un día.
User-agent: WebReaderAPI
Disallow: /
¿Puedo bloquear solo una parte de mi sitio o ralentizar el bot?
Sí. Indica las carpetas que quieres excluir bajo Disallow y define un Crawl-delay en segundos para los trabajos de rastreo. Las reglas escritas para todos los robots (User-agent: *) también se nos aplican cuando no tienes un grupo para nuestro token. Si lo tienes, prevalece ese grupo, tal como describe la RFC 9309.
User-agent: WebReaderAPI
Disallow: /account/
Disallow: /drafts/
Crawl-delay: 5
¿El bot respeta las señales de preferencia de IA?
Sí, las que un sitio declara en robots.txt. Si tu archivo declara Content-Signal: ai-input=no, lo interpretamos como una negativa a que tus páginas se usen como entrada para respuestas de IA, y no las leemos para nuestros clientes. La API devuelve entonces el error blocked_by_site_policy al cliente, que no paga nada.
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
¿Qué hace el bot cuando mi sitio lo rechaza?
Se detiene y comunica tu respuesta. Un estado 403 o 429, una página de desafío, un formulario de inicio de sesión o un paywall ponen fin a la solicitud. El cliente recibe el error target_refused con tu código de estado y no se le cobra.
El bot nunca resuelve desafíos, nunca inicia sesión, nunca cambia su user agent para parecer un navegador y nunca reintenta disfrazado. Si quieres que leamos tus páginas, permite el token en robots.txt y deja pasar las solicitudes; si no, no tienes que hacer nada más por tu parte.
¿Qué no promete todavía WebReaderAPI?
Hoy no publicamos una lista de direcciones IP, así que identifica el bot por su user agent y su comportamiento con robots.txt, no por IP. Las páginas leídas con la opción country salen desde una dirección del país elegido, siempre con el mismo user agent. Añadiremos nuestros rangos de direcciones a esta página cuando estén fijados, con la fecha del cambio.
¿Cómo informo de un problema con el bot?
Escribe a [email protected] con la fecha y la hora, tu dominio, la URL consultada y una línea de tu log de acceso que muestre nuestro user agent. Una persona lee cada informe y lo contrasta con nuestros logs. Si un cliente usa la API incumpliendo nuestra Política de uso aceptable, su cuenta se suspende.
Para comprobar si una solicitud vino realmente de nosotros, compara el user agent y el comportamiento con robots.txt con esta página. Un cliente que ignora tus reglas de robots.txt usando nuestro nombre no es nuestro bot.
Preguntas de propietarios de sitios
¿El bot de WebReaderAPI es un rastreador de buscadores?
No. No indexa la web ni posiciona páginas. Solo lee una página cuando un cliente de la API la pide, en una solicitud individual, un lote o un rastreo de un solo sitio.
¿Bloquear el bot afectará a mi posicionamiento en Google o Bing?
No. Las reglas escritas para WebReaderAPI solo afectan a nuestro bot. Los rastreadores de los buscadores siguen sus propios grupos en tu robots.txt.
¿Cuánto tarda en aplicarse un cambio en robots.txt?
Como tarde, 24 horas. El bot guarda robots.txt en caché como máximo un día antes de volver a leerlo.
¿El bot respeta Crawl-delay?
Sí, en los trabajos de rastreo (crawl), que leen muchas páginas de un mismo sitio. Una lectura individual es una sola solicitud y no se espacia.
¿Almacenan o venden el contenido de mis páginas?
No. El texto de la página va al cliente que lo solicitó y nosotros no lo guardamos. Nuestros logs conservan el nombre del host, la hora, el estado y los créditos usados, durante 30 días.