Resposta rápida
Os agentes de IA precisam seguir o robots.txt?
Depende do fornecedor. O robots.txt é um padrão voluntário (RFC 9309, setembro de 2022). Os rastreadores que montam índices geralmente o seguem; para buscas acionadas por um usuário, a OpenAI diz que suas regras podem não se aplicar, a Google e a Perplexity dizem que seus fetchers geralmente as ignoram, e a Anthropic diz que seus bots as respeitam. WebReaderAPI segue o robots.txt em toda leitura, sem KYC e com pagamento em cripto.
robots.txt e IA em outubro de 2026
| Padrão | RFC 9309, Robots Exclusion Protocol, setembro de 2022 |
|---|---|
| OpenAI ChatGPT-User | As regras do robots.txt "podem não se aplicar" a ações iniciadas pelo usuário |
| Anthropic (incl. Claude-User) | Diz que seus bots respeitam as diretrizes do robots.txt, incluindo Crawl-delay |
| Fetchers acionados pelo usuário do Google | "Geralmente ignoram as regras do robots.txt" (página atualizada em 2026-08-19) |
| Perplexity-User | "Geralmente ignora as regras do robots.txt" |
| Content Signals | Política da Cloudflare de 24 de setembro de 2025: search, ai-input, ai-train |
| Preferências de IA do IETF | Rascunhos de grupo de trabalho, ainda não um RFC |
| WebReaderAPI | Segue o robots.txt e o ai-input=no em toda leitura; token WebReaderAPI |
O que o robots.txt realmente faz?
Ele informa aos clientes automatizados quais caminhos um site prefere que eles evitem. O arquivo fica na raiz de um host, agrupa regras por token de user-agent e usa linhas Allow e Disallow. O RFC 9309, publicado em setembro de 2022, transformou a convenção de longa data em padrão.
O RFC deixa explícito que o arquivo não bloqueia nada: "These rules are not a form of access authorization." A adesão é voluntária. É por isso que a política declarada de cada fornecedor importa, e por isso sites que querem limites rígidos também usam firewalls e gestão de bots.
Por que crawlers e fetchers acionados pelo usuário são diferentes?
Um crawler decide sozinho quais páginas visitar; um fetcher acionado pelo usuário visita uma página porque uma pessoa pediu. Muitos fornecedores tratam o segundo caso como um navegador agindo em nome de seu usuário e dizem que o robots.txt não se aplica totalmente.
| Fetcher | Política declarada (lida em 2026-10-22) |
|---|---|
| OpenAI ChatGPT-User | as regras do robots.txt "may not apply" a ações iniciadas pelo usuário; os sites são direcionados ao OAI-SearchBot para opt-out de busca |
| Anthropic Claude-User | a Anthropic diz que seus bots respeitam as diretrizes do robots.txt; bloquear o Claude-User interrompe a recuperação para consultas de usuários |
| Fetchers acionados pelo usuário do Google | "Generally ignore robots.txt rules" porque um usuário solicitou a busca |
| Perplexity-User | "Generally ignores robots.txt rules" pelo mesmo motivo |
| Servidor de fetch de referência do MCP | Obedece ao robots.txt para fetches iniciados pelo modelo por padrão, não para os iniciados pelo usuário |
A divisão é real e documentada. Se você cria um agente, decida de que lado está e deixe isso claro no seu user agent e na documentação.
O que são Content Signals, aipref e RSL?
São formas mais recentes de dizer o que os sistemas de IA podem fazer com o conteúdo, não apenas se um robô pode buscá-lo.
- Content Signals. A Cloudflare publicou esta política em 24 de setembro de 2025. Um robots.txt pode declarar
search,ai-input(uso como entrada para uma resposta de IA, como grounding) eai-train. O robots.txt gerenciado da Cloudflare servesearch=yes, ai-train=nopor padrão. - Preferências de IA do IETF (aipref). Os rascunhos de vocabulário e de anexo do grupo de trabalho ainda eram Internet-Drafts em outubro de 2026, com intenção de se tornarem Proposed Standards.
- Web Bot Auth. Uma forma de os bots assinarem suas requisições; o grupo de trabalho do IETF adotou o rascunho do seu protocolo em 1º de setembro de 2026.
- RSL (Really Simple Licensing). Seu site informa que a especificação RSL 1.0 está disponível; ela permite que editores declarem termos de licenciamento, incluindo pagamento por crawl, por meio de robots.txt, headers ou RSS.
O llms.txt é a mesma coisa que o robots.txt?
Não. O robots.txt diz o que não buscar; o llms.txt é um arquivo proposto que lista as páginas principais de um site para modelos de linguagem. A adoção está crescendo, mas o uso medido é baixo. A Rankability encontrou llms.txt em 9,3% dos 1.000 principais sites em 18 de setembro de 2026. Um estudo da Ahrefs com 137.000 domínios, divulgado pelo PPC Land em 2 de julho de 2026, descobriu que 97% dos arquivos llms.txt não receberam nenhuma requisição.
Nosso guia de llms.txt mostra como criar um a partir de um rastreamento (crawl) do seu próprio site, caso você queira um mesmo assim.
Como o WebReaderAPI trata o robots.txt?
Ele o segue em toda leitura, incluindo leituras que um cliente aciona. Respeitamos o robots.txt: nosso crawler se identifica como WebReaderAPI, segue as regras escritas para ele ou para todos os robôs e não lê uma página que o site proíbe. Páginas recusadas não são cobradas. Se um site declara Content-Signal: ai-input=no no seu robots.txt, não lemos as páginas dele para você. Para jobs de rastreamento (crawl), ele também espera o Crawl-delay definido pelo site.
Toda requisição carrega o mesmo User-Agent, WebReaderAPI/1.0 (+https://webreaderapi.com/bot/), para que os donos de sites possam nos ver nos logs e criar regras para nós. Nossa página do crawler traz os detalhes e um contato para problemas.
# Block WebReaderAPI from the whole site
User-agent: WebReaderAPI
Disallow: /
# Or: allow it, but keep it out of one folder and slow it down
User-agent: WebReaderAPI
Disallow: /account/
Crawl-delay: 5
# Or: allow reading for search, but not as AI input (Content Signals)
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
robots.txt para IA: perguntas comuns
Bloquear o GPTBot impede o ChatGPT de ler minha página para um usuário?
Não necessariamente. A OpenAI documenta tokens separados: GPTBot para treinamento, OAI-SearchBot para busca e ChatGPT-User para ações de usuários, e diz que as regras do robots.txt podem não se aplicar a ações iniciadas pelo usuário. Verifique a documentação atual de cada fornecedor.
O robots.txt tem validade legal?
Não por si só; o RFC 9309 diz que ele não é autorização de acesso. Na UE, os opt-outs legíveis por máquina importam para mineração de texto e dados sob a Diretiva DSM. Veja nossa visão geral jurídica; não é aconselhamento jurídico.
Como bloqueio o WebReaderAPI?
Adicione um grupo User-agent: WebReaderAPI com Disallow: / ao seu robots.txt. Nossas leituras o verificam antes de cada página; páginas não permitidas nunca são lidas.
O WebReaderAPI lê páginas que informam ai-input=no?
Não. Se um site declara Content-Signal: ai-input=no no seu robots.txt, não lemos as páginas dele para você. A API retorna 403 blocked_by_site_policy ao cliente, sem cobrança.
Fontes (12)
- RFC 9309: Robots Exclusion Protocol — RFC Editor (September 2022)
- Visão geral dos crawlers da OpenAI — OpenAI (read 2026-10-22)
- A Anthropic coleta dados da web, e como os donos de sites podem bloquear o crawler? — Anthropic (2026-04-07)
- Fetchers acionados pelo usuário do Google — Google (updated 2026-08-19)
- Crawlers da Perplexity — Perplexity (read 2026-10-22)
- Servidor de fetch do MCP — Model Context Protocol (read 2026-10-22)
- Content Signals Policy — Cloudflare (2025-09-24)
- Documentos do grupo de trabalho AI Preferences — IETF (read 2026-10-22)
- Documentos do grupo de trabalho Web Bot Auth — IETF (read 2026-10-22)
- Really Simple Licensing — rslstandard.org (read 2026-10-22)
- Dados de adoção do llms.txt — Rankability (2026-09-18)
- Adoção do llms.txt cresce 8,8x, mas 97% dos arquivos não recebem nenhuma requisição de IA — PPC Land (2026-07-02)