Por qué los agentes de IA reciben errores 403 al obtener páginas web

¿Qué cambió en la web en 2025 y 2026?

Los grandes proveedores de infraestructura convirtieron el bloqueo de IA en un valor predeterminado. Tres cambios con fecha explican la mayoría de los nuevos 403:

• 1 de julio de 2025: Cloudflare anunció que ahora bloquea los rastreadores de IA de forma predeterminada, preguntando a cada dominio nuevo al registrarse si quiere permitirlos. Ese mismo día lanzó pay per crawl en beta privada, que responde con HTTP 402 y un precio.
• 1 de julio de 2026: Cloudflare introdujo tres categorías de tráfico de IA: Search, Agent y Training. "Agent" incluye explícitamente a los fetchers de chat como ChatGPT-User.
• 15 de septiembre de 2026: para dominios nuevos, los ajustes predefinidos de Cloudflare bloquean el tráfico Training y Agent en las páginas que muestran anuncios; Search sigue permitido.

Un agente que obtiene una página para un usuario entra en la categoría Agent. En los sitios con publicidad dados de alta después de septiembre de 2026, espera negativas.

¿Cómo distingo un bloqueo de un fallo?

Lee el código de estado y el cuerpo antes de cambiar nada.

Solo el 429 y la página JavaScript vacía son problemas técnicos que puedes resolver por tu cuenta. Los demás son decisiones del propietario del sitio.

¿Qué puede hacer legítimamente quien crea un agente?

Trabaja con el sitio, no a su alrededor. Estos pasos resuelven muchos fallos y mantienen a tu agente del lado correcto de los propietarios de los sitios:

1. Usa el canal propio del sitio. Muchos sitios ofrecen una API, un feed RSS o Atom, o un sitemap con el contenido que necesitas.
2. Pide acceso. Los propietarios pueden permitir un bot con nombre en robots.txt o en la configuración de su CDN. Un User-Agent claro y una página de contacto lo facilitan.
3. Renderiza páginas que están permitidas pero vacías. Para páginas solo con JavaScript, usa un lector que ejecute un navegador headless.
4. Baja el ritmo y usa caché. Lee la misma página una vez, guárdala y respeta Crawl-delay y las respuestas 429.
5. Paga donde el sitio vende acceso. Un 402 es una oferta; acéptala por el canal del sitio o deja esa página fuera.

Cada una de estas opciones deja al propietario del sitio al mando, que es también lo que mantiene útil a tu agente con el tiempo.

¿Qué no debo hacer nunca para saltarme una negativa?

Nunca disfraces al agente ni derrotes una protección. Falsificar el User-Agent de un navegador, rotar direcciones IP para escapar de un bloqueo o resolver páginas de desafío convierte a un cliente educado en una herramienta creada para derrotar controles de acceso. En 2026, dos tribunales de EE. UU. trataron estas técnicas como elusión en demandas sobre acceso automatizado a resultados de búsqueda. Los casos siguen abiertos y no hay nada decidido, pero el riesgo no es teórico.

También rompe la confianza con los sitios de los que dependen tus usuarios. Una negativa es información: regístrala, di al usuario que la página no estaba disponible y pasa a otra fuente.

¿Qué hacen las herramientas de fetch integradas cuando un sitio rechaza?

La mayoría devuelven el error al modelo, que entonces dice al usuario que no pudo leer la página. La documentación de OpenClaw, consultada el 22 de octubre de 2026, dice que su web_fetch integrado extrae el contenido con Readability, no ejecuta JavaScript y limita la salida a 20.000 caracteres; puede recurrir a un proveedor de fetch, y los plugins pueden registrar otros nuevos. El servidor de referencia fetch de MCP respeta robots.txt de forma predeterminada para los fetches iniciados por el modelo.

Cuando estas herramientas fallan en páginas que permiten robots pero necesitan JavaScript, ayuda un lector que renderice páginas. Cuando fallan porque el sitio rechazó, ninguna herramienta debería cambiar la respuesta.

¿Qué devuelve WebReaderAPI cuando un sitio rechaza?

Devuelve el rechazo con claridad y no te cobra. Una página no permitida por robots.txt da 403 blocked_by_robots. Un sitio que declara ai-input=no da 403 blocked_by_site_policy. Un sitio que rechaza la solicitud de cualquier otra forma da 502 target_refused, con el código de estado propio del sitio en target_status.

Si un sitio rechaza nuestra solicitud, devolvemos su respuesta: nunca resolvemos CAPTCHAs, iniciamos sesión en cuentas ni intentamos saltar un bloqueo o un paywall. Tu agente puede mostrar al usuario exactamente por qué se omitió una página. La página de errores enumera cada código con la regla de reintento correspondiente.