Resposta rápida
Por que meu agente de IA recebe um 403 quando busca uma página?
Geralmente porque o site, ou o CDN dele, recusa tráfego automatizado ou de IA. O Cloudflare bloqueia crawlers de IA por padrão para novos domínios desde 1 de julho de 2025 e, a partir de 15 de setembro de 2026, bloqueia tráfego "Agent" em páginas com suporte a anúncios de novos domínios. Outras causas são rate limits e login walls. A solução é permissão, não disfarce. WebReaderAPI retorna a resposta do site, sem cobrança; sem KYC, pagar com cripto.
Causas comuns de uma falha de web fetch
| 403 de um CDN | O bot management bloqueia crawlers ou agentes de IA por padrão em muitos sites |
|---|---|
| 403 ou 401 do site | Login wall, área de membros, regras de região ou um bloqueio rígido a agentes conhecidos |
| 429 | Muitas requisições em pouco tempo; o site está aplicando rate limit em você |
| 402 | O site pede pagamento, por exemplo por meio do Cloudflare pay per crawl |
| 200 mas texto vazio | A página monta o conteúdo com JavaScript; não é um erro, mas não há nada para ler |
| Recusado antes da busca | Sua própria ferramenta respeitou o robots.txt e pulou a página |
O que mudou na web em 2025 e 2026?
Grandes provedores de infraestrutura transformaram o bloqueio a IA em padrão. Três mudanças datadas explicam a maioria dos novos 403s:
- 1 de julho de 2025: o Cloudflare anunciou que agora bloqueia crawlers de IA por padrão, perguntando a cada novo domínio no cadastro se deseja permiti-los. No mesmo dia, lançou o pay per crawl em beta privado, que responde com HTTP 402 e um preço.
- 1 de julho de 2026: o Cloudflare introduziu três categorias de tráfego de IA: Search, Agent e Training. "Agent" inclui explicitamente fetchers de chat, como o ChatGPT-User.
- 15 de setembro de 2026: para novos domínios, os presets do Cloudflare bloqueiam tráfego Training e Agent em páginas que exibem anúncios; Search continua permitido.
Um agente que busca uma página para um usuário se enquadra na categoria Agent. Em sites com suporte a anúncios cadastrados após setembro de 2026, espere recusas.
Como diferenciar um bloqueio de um bug?
Leia o código de status e o corpo antes de mudar qualquer coisa.
| O que você vê | Significado provável | Próximo passo |
|---|---|---|
| 403 com um desafio ou página "access denied" | O site ou o CDN dele recusa tráfego automatizado | Respeite; procure uma API ou peça acesso |
| 402 com headers de preço | O site vende acesso por requisição | Decida se vale pagar pelo canal dele |
| 429 | Você enviou requisições demais | Diminua o ritmo e tente de novo depois, com backoff |
| 401, ou uma página de login | O conteúdo exige uma conta | Fora do escopo de um leitor público |
| 200 com quase nenhum texto | Conteúdo montado por JavaScript | Renderize a página em um navegador |
| Sua ferramenta diz que o robots.txt não permite | O site pediu aos robôs que a pulassem | Respeite |
Apenas o 429 e a página vazia em JavaScript são problemas técnicos que você pode resolver do seu lado. Os demais são decisões do dono do site.
O que um criador de agentes pode fazer legitimamente?
Trabalhe com o site, não ao redor dele. Estes passos resolvem muitas falhas e mantêm seu agente do lado certo dos donos de site:
- Use o canal próprio do site. Muitos sites oferecem uma API, um feed RSS ou Atom, ou um sitemap com o conteúdo de que você precisa.
- Peça acesso. Os donos de site podem permitir um bot nomeado no robots.txt ou nas configurações do CDN. Um User-Agent claro e uma página de contato facilitam isso.
- Renderize páginas permitidas mas vazias. Para páginas só em JavaScript, use um leitor que roda um navegador headless.
- Diminua o ritmo e use cache. Leia a mesma página uma vez, armazene e respeite
Crawl-delaye as respostas 429. - Pague onde o site vende acesso. Um 402 é uma oferta; aceite pelo canal do site ou deixe a página de fora.
Cada um desses passos deixa o dono do site no controle, o que também mantém seu agente útil ao longo do tempo.
O que eu nunca devo fazer para passar por uma recusa?
Nunca disfarce o agente nem derrote uma proteção. Falsificar o User-Agent de um navegador, rotacionar endereços IP para escapar de um bloqueio ou resolver páginas de desafio transforma um cliente educado em uma ferramenta feita para derrotar controles de acesso. Em 2026, dois tribunais dos EUA trataram tais técnicas como circunvenção em processos sobre acesso automatizado a resultados de pesquisa. Os casos seguem abertos e nada está decidido, mas o risco não é teórico.
Isso também quebra a confiança com os sites dos quais seus usuários dependem. Uma recusa é informação: registre-a, avise o usuário de que a página não estava disponível e siga para outra fonte.
O que as ferramentas de fetch integradas fazem quando um site recusa?
A maioria devolve o erro ao modelo, que então avisa o usuário de que não conseguiu ler a página. A documentação do OpenClaw, consultada em 22 de outubro de 2026, diz que o web_fetch integrado extrai o conteúdo com Readability, não executa JavaScript e limita a saída a 20.000 caracteres; ele pode recorrer a um provedor de fetch, e plugins podem registrar novos. O servidor fetch de referência do MCP obedece ao robots.txt para fetches iniciados pelo modelo por padrão.
Quando essas ferramentas falham em páginas que permitem robôs mas precisam de JavaScript, um leitor que renderiza páginas ajuda. Quando falham porque o site recusou, nenhuma ferramenta deve mudar a resposta.
O que o WebReaderAPI retorna quando um site recusa?
Ele retorna a recusa de forma clara, e você não é cobrado. Uma página não permitida pelo robots.txt retorna 403 blocked_by_robots. Um site que declara ai-input=no retorna 403 blocked_by_site_policy. Um site que recusa a requisição de qualquer outra forma retorna 502 target_refused, com o código de status do próprio site em target_status.
Se um site recusa nossa requisição, devolvemos a resposta dele: nunca resolvemos CAPTCHAs, nunca entramos em contas e nunca tentamos contornar um bloqueio ou um paywall. Seu agente pode mostrar ao usuário exatamente por que uma página foi pulada. A página de erros lista cada código com a regra de retry para cada um.
Erros de web fetch: perguntas comuns
Por que uma página abre no meu navegador mas falha no meu agente?
Porque o site trata pessoas e clientes automatizados de forma diferente. O bot management pode permitir navegadores e recusar agentes, e alguns sites bloqueiam tráfego de IA por padrão. A página é pública para leitores, não necessariamente para robôs.
Tentar de novo resolve um 403?
Raramente. Um 403 é uma decisão, não uma falha. Repita 429, timeouts e erros de rede com backoff exponencial; trate o 403 como definitivo, a menos que o dono do site mude isso.
O WebReaderAPI consegue ler páginas que meu agente não consegue?
Apenas páginas que permitem robôs mas precisam de um navegador para mostrar o texto, porque WebReaderAPI renderiza JavaScript quando necessário. Ele não consegue ler páginas que um site recusa e não tenta.
Como meu bot pode ser permitido em um site?
Use um User-Agent estável e descritivo com uma URL de contato, siga o robots.txt, mantenha taxas de requisição baixas e peça ao dono. Esquemas de agentes assinados, como o Web Bot Auth, permitem que os sites verifiquem quem você é.
Fontes (8)
- Press release: crawlers de IA bloqueados por padrão — Cloudflare (2025-07-01)
- Apresentando o pagamento por rastreamento (crawl) — Cloudflare (2025-07-01)
- Blog: opções de tráfego para pesquisa, agentes e treinamento — Cloudflare (2026-07-01)
- Blog: novos padrões para rastreadores de IA e agentes — Cloudflare (2026-09-15)
- Ferramenta de busca na web — OpenClaw (read 2026-10-22)
- Servidor de fetch do MCP — Model Context Protocol (read 2026-10-22)
- Reddit v. SerpApi LLC — Loeb & Loeb (2026-08)
- Ação do Google contra o SerpApi é arquivada — Search Engine Roundtable (2026-07-22)