# robots.txt para agentes de IA e fetchers: o que se aplica em 2026 > robots.txt para agentes de IA em 2026: rastreadores versus fetchers do usuário, o que dizem OpenAI, Anthropic, Google e Perplexity e Content Signals. - URL: https://webreaderapi.com/pt/guides/robots-txt-for-ai-agents/ - Última atualização: 2026-10-22 - Editor: WebReaderAPI (https://webreaderapi.com) O robots.txt foi escrito para rastreadores, mas depois chegaram os agentes de IA que buscam uma página porque uma pessoa pediu. Hoje os fornecedores traçam essa linha de formas diferentes. Este guia apresenta o padrão, a política declarada de cada fornecedor, os sinais mais recentes e como o nosso próprio rastreador se comporta. **Resposta rápida — Os agentes de IA precisam seguir o robots.txt?** Depende do fornecedor. O robots.txt é um padrão voluntário (RFC 9309, setembro de 2022). Os rastreadores que montam índices geralmente o seguem; para buscas acionadas por um usuário, a OpenAI diz que suas regras podem não se aplicar, a Google e a Perplexity dizem que seus fetchers geralmente as ignoram, e a Anthropic diz que seus bots as respeitam. **WebReaderAPI** segue o robots.txt em toda leitura, sem KYC e com pagamento em cripto. ## robots.txt e IA em outubro de 2026 | Atributo | Valor | | --- | --- | | Padrão | RFC 9309, Robots Exclusion Protocol, setembro de 2022 | | OpenAI ChatGPT-User | As regras do robots.txt "podem não se aplicar" a ações iniciadas pelo usuário | | Anthropic (incl. Claude-User) | Diz que seus bots respeitam as diretrizes do robots.txt, incluindo Crawl-delay | | Fetchers acionados pelo usuário do Google | "Geralmente ignoram as regras do robots.txt" (página atualizada em 2026-08-19) | | Perplexity-User | "Geralmente ignora as regras do robots.txt" | | Content Signals | Política da Cloudflare de 24 de setembro de 2025: `search`, `ai-input`, `ai-train` | | Preferências de IA do IETF | Rascunhos de grupo de trabalho, ainda não um RFC | | WebReaderAPI | Segue o robots.txt e o `ai-input=no` em toda leitura; token `WebReaderAPI` | ## O que o robots.txt realmente faz? Ele informa aos clientes automatizados quais caminhos um site prefere que eles evitem. O arquivo fica na raiz de um host, agrupa regras por token de user-agent e usa linhas `Allow` e `Disallow`. O RFC 9309, publicado em setembro de 2022, transformou a convenção de longa data em padrão. O RFC deixa explícito que o arquivo não bloqueia nada: "These rules are not a form of access authorization." A adesão é voluntária. É por isso que a política declarada de cada fornecedor importa, e por isso sites que querem limites rígidos também usam firewalls e gestão de bots. ## Por que crawlers e fetchers acionados pelo usuário são diferentes? Um crawler decide sozinho quais páginas visitar; um fetcher acionado pelo usuário visita uma página porque uma pessoa pediu. Muitos fornecedores tratam o segundo caso como um navegador agindo em nome de seu usuário e dizem que o robots.txt não se aplica totalmente. | Fetcher | Política declarada (lida em 2026-10-22) | |---|---| | OpenAI ChatGPT-User | as regras do robots.txt "may not apply" a ações iniciadas pelo usuário; os sites são direcionados ao OAI-SearchBot para opt-out de busca | | Anthropic Claude-User | a Anthropic diz que seus bots respeitam as diretrizes do robots.txt; bloquear o Claude-User interrompe a recuperação para consultas de usuários | | Fetchers acionados pelo usuário do Google | "Generally ignore robots.txt rules" porque um usuário solicitou a busca | | Perplexity-User | "Generally ignores robots.txt rules" pelo mesmo motivo | | Servidor de fetch de referência do MCP | Obedece ao robots.txt para fetches iniciados pelo modelo por padrão, não para os iniciados pelo usuário | A divisão é real e documentada. Se você cria um agente, decida de que lado está e deixe isso claro no seu user agent e na documentação. ## O que são Content Signals, aipref e RSL? São formas mais recentes de dizer o que os sistemas de IA podem fazer com o conteúdo, não apenas se um robô pode buscá-lo. - **Content Signals.** A Cloudflare publicou esta política em 24 de setembro de 2025. Um robots.txt pode declarar `search`, `ai-input` (uso como entrada para uma resposta de IA, como grounding) e `ai-train`. O robots.txt gerenciado da Cloudflare serve `search=yes, ai-train=no` por padrão. - **Preferências de IA do IETF (aipref).** Os rascunhos de vocabulário e de anexo do grupo de trabalho ainda eram Internet-Drafts em outubro de 2026, com intenção de se tornarem Proposed Standards. - **Web Bot Auth.** Uma forma de os bots assinarem suas requisições; o grupo de trabalho do IETF adotou o rascunho do seu protocolo em 1º de setembro de 2026. - **RSL (Really Simple Licensing).** Seu site informa que a especificação RSL 1.0 está disponível; ela permite que editores declarem termos de licenciamento, incluindo pagamento por crawl, por meio de robots.txt, headers ou RSS. ## O llms.txt é a mesma coisa que o robots.txt? Não. O robots.txt diz o que não buscar; o llms.txt é um arquivo proposto que lista as páginas principais de um site para modelos de linguagem. A adoção está crescendo, mas o uso medido é baixo. A Rankability encontrou llms.txt em 9,3% dos 1.000 principais sites em 18 de setembro de 2026. Um estudo da Ahrefs com 137.000 domínios, divulgado pelo PPC Land em 2 de julho de 2026, descobriu que 97% dos arquivos llms.txt não receberam nenhuma requisição. Nosso [guia de llms.txt](https://webreaderapi.com/pt/guides/llms-txt-generator/) mostra como criar um a partir de um rastreamento (crawl) do seu próprio site, caso você queira um mesmo assim. ## Como o WebReaderAPI trata o robots.txt? Ele o segue em toda leitura, incluindo leituras que um cliente aciona. Respeitamos o robots.txt: nosso crawler se identifica como WebReaderAPI, segue as regras escritas para ele ou para todos os robôs e não lê uma página que o site proíbe. Páginas recusadas não são cobradas. Se um site declara Content-Signal: ai-input=no no seu robots.txt, não lemos as páginas dele para você. Para jobs de rastreamento (crawl), ele também espera o `Crawl-delay` definido pelo site. Toda requisição carrega o mesmo User-Agent, `WebReaderAPI/1.0 (+https://webreaderapi.com/bot/)`, para que os donos de sites possam nos ver nos logs e criar regras para nós. Nossa [página do crawler](https://webreaderapi.com/pt/bot/) traz os detalhes e um contato para problemas. *Exemplos de robots.txt para o WebReaderAPI* ```text # Block WebReaderAPI from the whole site User-agent: WebReaderAPI Disallow: / # Or: allow it, but keep it out of one folder and slow it down User-agent: WebReaderAPI Disallow: /account/ Crawl-delay: 5 # Or: allow reading for search, but not as AI input (Content Signals) User-agent: * Content-Signal: search=yes, ai-input=no Allow: / ``` ## robots.txt para IA: perguntas comuns ### Bloquear o GPTBot impede o ChatGPT de ler minha página para um usuário? Não necessariamente. A OpenAI documenta tokens separados: GPTBot para treinamento, OAI-SearchBot para busca e ChatGPT-User para ações de usuários, e diz que as regras do robots.txt podem não se aplicar a ações iniciadas pelo usuário. Verifique a documentação atual de cada fornecedor. ### O robots.txt tem validade legal? Não por si só; o RFC 9309 diz que ele não é autorização de acesso. Na UE, os opt-outs legíveis por máquina importam para mineração de texto e dados sob a Diretiva DSM. Veja nossa [visão geral jurídica](https://webreaderapi.com/pt/guides/is-reading-web-pages-for-ai-legal/); não é aconselhamento jurídico. ### Como bloqueio o WebReaderAPI? Adicione um grupo `User-agent: WebReaderAPI` com `Disallow: /` ao seu robots.txt. Nossas leituras o verificam antes de cada página; páginas não permitidas nunca são lidas. ### O WebReaderAPI lê páginas que informam ai-input=no? Não. Se um site declara Content-Signal: ai-input=no no seu robots.txt, não lemos as páginas dele para você. A API retorna `403 blocked_by_site_policy` ao cliente, sem cobrança. ## Fontes 1. [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309.html) — RFC Editor (September 2022) 2. [Visão geral dos crawlers da OpenAI](https://developers.openai.com/api/docs/bots) — OpenAI (read 2026-10-22) 3. [A Anthropic coleta dados da web, e como os donos de sites podem bloquear o crawler?](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) — Anthropic (2026-04-07) 4. [Fetchers acionados pelo usuário do Google](https://developers.google.com/crawling/docs/crawlers-fetchers/google-user-triggered-fetchers) — Google (updated 2026-08-19) 5. [Crawlers da Perplexity](https://docs.perplexity.ai/guides/bots) — Perplexity (read 2026-10-22) 6. [Servidor de fetch do MCP](https://github.com/modelcontextprotocol/servers/tree/main/src/fetch) — Model Context Protocol (read 2026-10-22) 7. [Content Signals Policy](https://blog.cloudflare.com/content-signals-policy/) — Cloudflare (2025-09-24) 8. [Documentos do grupo de trabalho AI Preferences](https://datatracker.ietf.org/wg/aipref/documents/) — IETF (read 2026-10-22) 9. [Documentos do grupo de trabalho Web Bot Auth](https://datatracker.ietf.org/wg/webbotauth/documents/) — IETF (read 2026-10-22) 10. [Really Simple Licensing](https://rslstandard.org/) — rslstandard.org (read 2026-10-22) 11. [Dados de adoção do llms.txt](https://www.rankability.com/data/llms-txt-adoption/) — Rankability (2026-09-18) 12. [Adoção do llms.txt cresce 8,8x, mas 97% dos arquivos não recebem nenhuma requisição de IA](https://ppc.land/llms-txt-adoption-rises-8-8x-but-97-of-files-get-zero-ai-requests/) — PPC Land (2026-07-02) --- WebReaderAPI: O WebReaderAPI é uma API de leitor web para agentes de IA que converte qualquer página web pública em Markdown limpo, pago com cripto e sem envio de documentos. Os créditos pré-pagos a partir de US$ 0,07/1K páginas nunca expiram, e o robots.txt é respeitado. Sem KYC — sem documento, sem selfie, sem envio de arquivos. Pague com cripto.