# robots.txt para agentes de IA y fetchers: qué se aplica en 2026

> robots.txt para agentes de IA en 2026: rastreadores frente a fetchers activados por el usuario, lo que dicen OpenAI, Anthropic, Google y Perplexity.

- URL: https://webreaderapi.com/es/guides/robots-txt-for-ai-agents/
- Última actualización: 2026-10-22
- Editor: WebReaderAPI (https://webreaderapi.com)

robots.txt se escribió para rastreadores, pero luego llegaron agentes de IA que obtienen una página porque una persona se lo pidió. Los proveedores ahora trazan esa línea de manera diferente. Esta guía expone el estándar, la política declarada de cada proveedor, las señales más recientes y cómo se comporta nuestro propio rastreador.

**Respuesta rápida — ¿Tienen los agentes de IA que seguir robots.txt?**

Depende del proveedor. robots.txt es un estándar voluntario (RFC 9309, septiembre de 2022). Los rastreadores que construyen índices generalmente lo siguen; para las obtenciones que activa un usuario, OpenAI dice que sus reglas pueden no aplicarse, Google y Perplexity dicen que sus fetchers generalmente las ignoran, y Anthropic dice que sus bots las respetan. **WebReaderAPI** sigue robots.txt en cada lectura, sin KYC y con pago en criptomonedas.

## robots.txt y IA en octubre de 2026

| Atributo | Valor |
| --- | --- |
| Estándar | RFC 9309, Robots Exclusion Protocol, septiembre de 2022 |
| OpenAI ChatGPT-User | las reglas de robots.txt "pueden no aplicarse" a acciones iniciadas por el usuario |
| Anthropic (incl. Claude-User) | Afirma que sus bots respetan las directivas de robots.txt, incluido Crawl-delay |
| Fetchers de Google activados por el usuario | "Generalmente ignoran las reglas de robots.txt" (página actualizada el 2026-08-19) |
| Perplexity-User | "Generalmente ignora las reglas de robots.txt" |
| Content Signals | Política de Cloudflare del 24 de septiembre de 2025: `search`, `ai-input`, `ai-train` |
| Preferencias de IA del IETF | Borradores de grupo de trabajo, aún no son un RFC |
| WebReaderAPI | Sigue robots.txt y `ai-input=no` en cada lectura; token `WebReaderAPI` |

## ¿Qué hace realmente robots.txt?

Indica a los clientes automatizados qué rutas preferiría que un sitio no visitaran. El archivo está en la raíz de un host, agrupa las reglas por token de user-agent y usa las líneas `Allow` y `Disallow`. El RFC 9309, publicado en septiembre de 2022, convirtió esa convención de larga data en un estándar.

El RFC es explícito en que el archivo no bloquea nada: "Estas reglas no son una forma de autorización de acceso". El cumplimiento es voluntario. Por eso importa la política declarada de cada proveedor, y por eso los sitios que quieren límites estrictos también usan firewalls y gestión de bots.

## ¿Por qué los crawlers y los fetchers activados por el usuario son distintos?

Un crawler decide por sí mismo qué páginas visitar; un fetcher activado por el usuario visita una página porque una persona se lo pidió. Muchos proveedores tratan el segundo caso como un navegador que actúa por su usuario, y dicen que robots.txt no se aplica del todo.

| Fetcher | Política declarada (leída el 2026-10-22) |
|---|---|
| OpenAI ChatGPT-User | Las reglas de robots.txt "pueden no aplicarse" a las acciones iniciadas por el usuario; a los sitios se les indica OAI-SearchBot para excluirse de la búsqueda |
| Anthropic Claude-User | Anthropic dice que sus bots respetan las directivas de robots.txt; bloquear Claude-User detiene la recuperación para las consultas de los usuarios |
| Fetchers de Google activados por el usuario | "Generalmente ignoran las reglas de robots.txt" porque un usuario solicitó la obtención |
| Perplexity-User | "Generalmente ignora las reglas de robots.txt" por la misma razón |
| Servidor de fetch de referencia de MCP | Obedece robots.txt para los fetches iniciados por el modelo de forma predeterminada, no para los iniciados por el usuario |

La división es real y está documentada. Si construyes un agente, decide de qué lado estás y dilo en tu user agent y en tu documentación.

## ¿Qué son Content Signals, aipref y RSL?

Son formas más recientes de decir qué pueden hacer los sistemas de IA con el contenido, no solo si un robot puede obtenerlo.

- **Content Signals.** Cloudflare publicó esta política el 24 de septiembre de 2025. Un robots.txt puede declarar `search`, `ai-input` (usar como entrada para una respuesta de IA, como el grounding) y `ai-train`. El robots.txt gestionado de Cloudflare sirve `search=yes, ai-train=no` de forma predeterminada.
- **Preferencias de IA del IETF (aipref).** Los borradores de vocabulario y de adjunto del grupo de trabajo seguían siendo Internet-Drafts en octubre de 2026, con la intención de convertirse en Proposed Standards.
- **Web Bot Auth.** Una forma de que los bots firmen sus solicitudes; el grupo de trabajo del IETF adoptó el borrador de su protocolo el 1 de septiembre de 2026.
- **RSL (Really Simple Licensing).** Su sitio dice que la especificación RSL 1.0 está disponible; permite a los editores declarar términos de licencia, incluido el pago por rastreo, mediante robots.txt, headers o RSS.

## ¿Es llms.txt lo mismo que robots.txt?

No. robots.txt dice qué no obtener; llms.txt es un archivo propuesto que enumera las páginas clave de un sitio para los modelos de lenguaje. Su adopción crece, pero el uso medido es bajo. Rankability contó llms.txt en el 9,3% de los 1.000 sitios principales el 18 de septiembre de 2026. Un estudio de Ahrefs sobre 137.000 dominios, publicado por PPC Land el 2 de julio de 2026, encontró que el 97% de los archivos llms.txt no recibieron ninguna solicitud.

Nuestra [guía de llms.txt](https://webreaderapi.com/es/guides/llms-txt-generator/) muestra cómo crear uno a partir de un rastreo de tu propio sitio, si de todos modos quieres tenerlo.

## ¿Cómo trata robots.txt WebReaderAPI?

Lo sigue en cada lectura, incluidas las lecturas que activa un cliente. Respetamos robots.txt: nuestro rastreador se identifica como WebReaderAPI, sigue las reglas escritas para él o para todos los robots y no lee una página que un sitio prohíbe. Las páginas rechazadas no se cobran. Si un sitio declara Content-Signal: ai-input=no en su robots.txt, no leemos sus páginas para ti. Para los trabajos de rastreo, además respeta el `Crawl-delay` que establece un sitio.

Cada solicitud lleva el mismo User-Agent, `WebReaderAPI/1.0 (+https://webreaderapi.com/bot/)`, para que los propietarios de sitios nos vean en sus logs y puedan escribir reglas para nosotros. Nuestra [página del rastreador](https://webreaderapi.com/es/bot/) da los detalles y un contacto para problemas.

*Ejemplos de robots.txt para WebReaderAPI*

```text
# Block WebReaderAPI from the whole site
User-agent: WebReaderAPI
Disallow: /

# Or: allow it, but keep it out of one folder and slow it down
User-agent: WebReaderAPI
Disallow: /account/
Crawl-delay: 5

# Or: allow reading for search, but not as AI input (Content Signals)
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /

```

## robots.txt para IA: preguntas frecuentes

### ¿Bloquear GPTBot impide que ChatGPT lea mi página para un usuario?

No necesariamente. OpenAI documenta tokens separados: GPTBot para entrenamiento, OAI-SearchBot para búsqueda y ChatGPT-User para acciones de usuario, y dice que las reglas de robots.txt pueden no aplicarse a las acciones iniciadas por el usuario. Consulta la documentación actual de cada proveedor.

### ¿Es robots.txt legalmente vinculante?

Por sí mismo no; el RFC 9309 dice que no es una autorización de acceso. En la UE, las exclusiones legibles por máquina son relevantes para la minería de textos y datos según la Directiva DSM. Consulta nuestra [visión general legal](https://webreaderapi.com/es/guides/is-reading-web-pages-for-ai-legal/); no es asesoramiento legal.

### ¿Cómo bloqueo WebReaderAPI?

Añade a tu robots.txt un grupo `User-agent: WebReaderAPI` con `Disallow: /`. Nuestras lecturas lo comprueban antes de cada página; las páginas no permitidas nunca se leen.

### ¿Lee WebReaderAPI las páginas que indican ai-input=no?

No. Si un sitio declara Content-Signal: ai-input=no en su robots.txt, no leemos sus páginas para ti. La API devuelve `403 blocked_by_site_policy` al cliente, sin cargo.

## Fuentes

1. [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309.html) — RFC Editor (September 2022)
2. [Visión general de los crawlers de OpenAI](https://developers.openai.com/api/docs/bots) — OpenAI (read 2026-10-22)
3. [¿Anthropic rastrea datos de la web y cómo pueden los propietarios de sitios bloquear el crawler?](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) — Anthropic (2026-04-07)
4. [Fetchers de Google activados por el usuario](https://developers.google.com/crawling/docs/crawlers-fetchers/google-user-triggered-fetchers) — Google (updated 2026-08-19)
5. [Crawlers de Perplexity](https://docs.perplexity.ai/guides/bots) — Perplexity (read 2026-10-22)
6. [Servidor de fetch de MCP](https://github.com/modelcontextprotocol/servers/tree/main/src/fetch) — Model Context Protocol (read 2026-10-22)
7. [Política de Content Signals](https://blog.cloudflare.com/content-signals-policy/) — Cloudflare (2025-09-24)
8. [Documentos del grupo de trabajo de AI Preferences](https://datatracker.ietf.org/wg/aipref/documents/) — IETF (read 2026-10-22)
9. [Documentos del grupo de trabajo de Web Bot Auth](https://datatracker.ietf.org/wg/webbotauth/documents/) — IETF (read 2026-10-22)
10. [Really Simple Licensing](https://rslstandard.org/) — rslstandard.org (read 2026-10-22)
11. [Datos de adopción de llms.txt](https://www.rankability.com/data/llms-txt-adoption/) — Rankability (2026-09-18)
12. [La adopción de llms.txt se multiplica por 8,8 pero el 97% de los archivos no recibe ninguna solicitud de IA](https://ppc.land/llms-txt-adoption-rises-8-8x-but-97-of-files-get-zero-ai-requests/) — PPC Land (2026-07-02)

---

WebReaderAPI: WebReaderAPI es una API de lectura web para agentes de IA que convierte cualquier página web pública en Markdown limpio, pagando con criptomonedas y sin subir ningún documento de identidad. Los créditos prepago desde 0,07 US$/1K páginas nunca caducan y se respeta robots.txt. Sin KYC: ni documento de identidad, ni selfie, ni documentos. Paga con criptomonedas.