# Bot do WebReaderAPI: user agent, robots.txt e como bloqueá-lo

> O bot do WebReaderAPI: user agent, token no robots.txt, como bloqueá-lo ou desacelerá-lo e o que ele nunca faz. Para donos de sites e ferramentas de IA.

- URL: https://webreaderapi.com/pt/bot/
- Última atualização: 2026-10-22
- Editor: WebReaderAPI (https://webreaderapi.com)

Se você viu nosso nome nos logs do seu servidor, esta página explica quem somos, por que buscamos sua página e como nos dizer para não fazer isso. Cada regra aqui é um compromisso em torno do qual o serviço foi construído.

**Resposta rápida — O que é o bot do WebReaderAPI e como faço para bloqueá-lo?**

O bot **WebReaderAPI** busca páginas públicas quando um dos nossos clientes pede à API para lê-las. Ele envia o user agent `WebReaderAPI/1.0 (+https://webreaderapi.com/bot/)` e obedece às regras do robots.txt escritas para o token `WebReaderAPI` ou para todos os robôs. Para bloqueá-lo em todo o site, adicione `User-agent: WebReaderAPI` seguido de `Disallow: /` ao seu robots.txt.

## O bot em resumo

| Atributo | Valor |
| --- | --- |
| Cabeçalho User-Agent | `WebReaderAPI/1.0 (+https://webreaderapi.com/bot/)` |
| Token no robots.txt | `WebReaderAPI` |
| robots.txt | Respeitamos o robots.txt: nosso crawler se identifica como WebReaderAPI, segue as regras escritas para ele ou para todos os robôs e não lê uma página que o site proíbe. Páginas recusadas não são cobradas |
| Sinais de preferência de IA | Se um site declara Content-Signal: ai-input=no no seu robots.txt, não lemos as páginas dele para você |
| Quando um site diz não | Se um site recusa nossa requisição, devolvemos a resposta dele: nunca resolvemos CAPTCHAs, nunca entramos em contas e nunca tentamos contornar um bloqueio ou um paywall |
| Cópias das suas páginas | Nenhuma é mantida depois que a resposta é enviada ao cliente |
| Trabalhos de rastreamento (crawl) | Rastreie um site por job, até 10.000 páginas, seguindo o sitemap, o robots.txt e o Crawl-delay do site |
| Contato | abuse@webreaderapi.com |

## Por que o WebReaderAPI buscou minha página?

Porque um cliente da API pediu. O WebReaderAPI não constrói seu próprio índice da web e não navega por iniciativa própria. Cada busca pertence a um de três tipos de requisição:

- **Uma leitura única:** um aplicativo ou um agente de IA enviou sua URL ao `/read`, geralmente porque uma pessoa fez uma pergunta que sua página responde.
- **Um trabalho em lote:** um cliente enviou uma lista de até 100 URLs, e a sua estava nela.
- **Um trabalho de rastreamento (crawl):** um cliente nos pediu para ler um site inteiro, começando por um endereço e permanecendo naquele domínio. Os rastreamentos seguem seu sitemap e seu robots.txt.

O cliente recebe o texto principal da página em Markdown. Não mantemos nenhuma cópia dele depois disso.

## Como faço para bloquear o bot em todo o meu site?

Adicione um grupo para o nosso token ao seu arquivo robots.txt. O bot lê o `/robots.txt` antes de buscar uma página e o mantém em cache por no máximo 24 horas, então uma alteração passa a valer dentro de um dia, no máximo.

*robots.txt: recusar todas as páginas ao WebReaderAPI*

```text
User-agent: WebReaderAPI
Disallow: /

```

## Posso bloquear apenas parte do meu site ou desacelerar o bot?

Sim. Liste as pastas que você quer manter fora em `Disallow` e defina um `Crawl-delay` em segundos para trabalhos de rastreamento (crawl). Regras escritas para todos os robôs (`User-agent: *`) também se aplicam a nós quando você não tem um grupo para o nosso token. Quando você tem um, esse grupo prevalece, como descreve a RFC 9309.

*robots.txt: manter duas pastas fora e espaçar as requisições de rastreamento*

```text
User-agent: WebReaderAPI
Disallow: /account/
Disallow: /drafts/
Crawl-delay: 5

```

## O bot respeita os sinais de preferência de IA?

Sim, os que o site declara no robots.txt. Se o seu arquivo declara `Content-Signal: ai-input=no`, tratamos isso como uma recusa ao uso das suas páginas como entrada para respostas de IA, e não as lemos para nossos clientes. A API então retorna o erro `blocked_by_site_policy` ao cliente, que não é cobrado.

*robots.txt: permitir buscadores, recusar entrada de IA*

```text
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /

```

## O que o bot faz quando meu site o recusa?

Ele para e reporta sua resposta. Um status 403 ou 429, uma página de desafio, um formulário de login ou um paywall encerram a requisição. O cliente recebe o erro `target_refused` com o seu código de status e não é cobrado por ele.

O bot nunca resolve desafios, nunca faz login, nunca altera seu user agent para parecer um navegador e nunca tenta de novo disfarçado. Se você quer que leiamos suas páginas, permita o token no robots.txt e deixe as requisições passarem; se não, nada mais é necessário do seu lado.

## O que o WebReaderAPI ainda não promete?

Não publicamos uma lista de endereços IP hoje, então identifique o bot pelo user agent e pelo comportamento em relação ao robots.txt, não pelo IP. Páginas lidas com a opção `country` saem de um endereço no país escolhido, ainda com o mesmo user agent. Vamos adicionar nossas faixas de endereços a esta página quando estiverem definidas, com a data da mudança.

## Como faço para reportar um problema com o bot?

Escreva para abuse@webreaderapi.com com a data e a hora, seu domínio, a URL buscada e uma linha do seu log de acesso mostrando nosso user agent. Uma pessoa lê cada relato e o confere com nossos logs. Se um cliente usa a API em desacordo com nossa [Política de Uso Aceitável](https://webreaderapi.com/pt/acceptable-use/), a conta dele é suspensa.

Para verificar se uma requisição realmente veio de nós, compare o user agent e o comportamento em relação ao robots.txt com esta página. Um cliente que ignora suas regras do robots.txt usando nosso nome não é o nosso bot.

## Perguntas dos donos de sites

### O bot do WebReaderAPI é um rastreador de buscador?

Não. Ele não indexa a web nem classifica páginas. Ele lê uma página apenas quando um cliente da API pede por essa página, em uma requisição única, um lote ou um rastreamento (crawl) de um site.

### Bloquear o bot afetará meu ranking no Google ou no Bing?

Não. As regras escritas para `WebReaderAPI` dizem respeito apenas ao nosso bot. Os rastreadores dos buscadores seguem seus próprios grupos no seu robots.txt.

### Quanto tempo leva para uma alteração no robots.txt fazer efeito?

Dentro de 24 horas, no máximo. O bot mantém o robots.txt em cache por no máximo um dia antes de lê-lo novamente.

### O bot respeita o Crawl-delay?

Sim, para trabalhos de rastreamento (crawl), que leem muitas páginas de um mesmo site. Uma leitura única é uma requisição e não tem intervalo entre elas.

### Vocês armazenam ou vendem o conteúdo das minhas páginas?

Não. O texto da página vai para o cliente que o solicitou e não é guardado por nós. Nossos logs registram o nome do host, o horário, o status e os créditos usados, por 30 dias.

---

WebReaderAPI: O WebReaderAPI é uma API de leitor web para agentes de IA que converte qualquer página web pública em Markdown limpo, pago com cripto e sem envio de documentos. Os créditos pré-pagos a partir de US$ 0,07/1K páginas nunca expiram, e o robots.txt é respeitado. Sem KYC — sem documento, sem selfie, sem envio de arquivos. Pague com cripto.