Resposta rápida
O que é o bot do WebReaderAPI e como faço para bloqueá-lo?
O bot WebReaderAPI busca páginas públicas quando um dos nossos clientes pede à API para lê-las. Ele envia o user agent WebReaderAPI/1.0 (+https://webreaderapi.com/bot/) e obedece às regras do robots.txt escritas para o token WebReaderAPI ou para todos os robôs. Para bloqueá-lo em todo o site, adicione User-agent: WebReaderAPI seguido de Disallow: / ao seu robots.txt.
O bot em resumo
| Cabeçalho User-Agent | WebReaderAPI/1.0 (+https://webreaderapi.com/bot/) |
|---|---|
| Token no robots.txt | WebReaderAPI |
| robots.txt | Respeitamos o robots.txt: nosso crawler se identifica como WebReaderAPI, segue as regras escritas para ele ou para todos os robôs e não lê uma página que o site proíbe. Páginas recusadas não são cobradas |
| Sinais de preferência de IA | Se um site declara Content-Signal: ai-input=no no seu robots.txt, não lemos as páginas dele para você |
| Quando um site diz não | Se um site recusa nossa requisição, devolvemos a resposta dele: nunca resolvemos CAPTCHAs, nunca entramos em contas e nunca tentamos contornar um bloqueio ou um paywall |
| Cópias das suas páginas | Nenhuma é mantida depois que a resposta é enviada ao cliente |
| Trabalhos de rastreamento (crawl) | Rastreie um site por job, até 10.000 páginas, seguindo o sitemap, o robots.txt e o Crawl-delay do site |
| Contato | [email protected] |
Por que o WebReaderAPI buscou minha página?
Porque um cliente da API pediu. O WebReaderAPI não constrói seu próprio índice da web e não navega por iniciativa própria. Cada busca pertence a um de três tipos de requisição:
- Uma leitura única: um aplicativo ou um agente de IA enviou sua URL ao
/read, geralmente porque uma pessoa fez uma pergunta que sua página responde. - Um trabalho em lote: um cliente enviou uma lista de até 100 URLs, e a sua estava nela.
- Um trabalho de rastreamento (crawl): um cliente nos pediu para ler um site inteiro, começando por um endereço e permanecendo naquele domínio. Os rastreamentos seguem seu sitemap e seu robots.txt.
O cliente recebe o texto principal da página em Markdown. Não mantemos nenhuma cópia dele depois disso.
Como faço para bloquear o bot em todo o meu site?
Adicione um grupo para o nosso token ao seu arquivo robots.txt. O bot lê o /robots.txt antes de buscar uma página e o mantém em cache por no máximo 24 horas, então uma alteração passa a valer dentro de um dia, no máximo.
User-agent: WebReaderAPI
Disallow: /
Posso bloquear apenas parte do meu site ou desacelerar o bot?
Sim. Liste as pastas que você quer manter fora em Disallow e defina um Crawl-delay em segundos para trabalhos de rastreamento (crawl). Regras escritas para todos os robôs (User-agent: *) também se aplicam a nós quando você não tem um grupo para o nosso token. Quando você tem um, esse grupo prevalece, como descreve a RFC 9309.
User-agent: WebReaderAPI
Disallow: /account/
Disallow: /drafts/
Crawl-delay: 5
O bot respeita os sinais de preferência de IA?
Sim, os que o site declara no robots.txt. Se o seu arquivo declara Content-Signal: ai-input=no, tratamos isso como uma recusa ao uso das suas páginas como entrada para respostas de IA, e não as lemos para nossos clientes. A API então retorna o erro blocked_by_site_policy ao cliente, que não é cobrado.
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
O que o bot faz quando meu site o recusa?
Ele para e reporta sua resposta. Um status 403 ou 429, uma página de desafio, um formulário de login ou um paywall encerram a requisição. O cliente recebe o erro target_refused com o seu código de status e não é cobrado por ele.
O bot nunca resolve desafios, nunca faz login, nunca altera seu user agent para parecer um navegador e nunca tenta de novo disfarçado. Se você quer que leiamos suas páginas, permita o token no robots.txt e deixe as requisições passarem; se não, nada mais é necessário do seu lado.
O que o WebReaderAPI ainda não promete?
Não publicamos uma lista de endereços IP hoje, então identifique o bot pelo user agent e pelo comportamento em relação ao robots.txt, não pelo IP. Páginas lidas com a opção country saem de um endereço no país escolhido, ainda com o mesmo user agent. Vamos adicionar nossas faixas de endereços a esta página quando estiverem definidas, com a data da mudança.
Como faço para reportar um problema com o bot?
Escreva para [email protected] com a data e a hora, seu domínio, a URL buscada e uma linha do seu log de acesso mostrando nosso user agent. Uma pessoa lê cada relato e o confere com nossos logs. Se um cliente usa a API em desacordo com nossa Política de Uso Aceitável, a conta dele é suspensa.
Para verificar se uma requisição realmente veio de nós, compare o user agent e o comportamento em relação ao robots.txt com esta página. Um cliente que ignora suas regras do robots.txt usando nosso nome não é o nosso bot.
Perguntas dos donos de sites
O bot do WebReaderAPI é um rastreador de buscador?
Não. Ele não indexa a web nem classifica páginas. Ele lê uma página apenas quando um cliente da API pede por essa página, em uma requisição única, um lote ou um rastreamento (crawl) de um site.
Bloquear o bot afetará meu ranking no Google ou no Bing?
Não. As regras escritas para WebReaderAPI dizem respeito apenas ao nosso bot. Os rastreadores dos buscadores seguem seus próprios grupos no seu robots.txt.
Quanto tempo leva para uma alteração no robots.txt fazer efeito?
Dentro de 24 horas, no máximo. O bot mantém o robots.txt em cache por no máximo um dia antes de lê-lo novamente.
O bot respeita o Crawl-delay?
Sim, para trabalhos de rastreamento (crawl), que leem muitas páginas de um mesmo site. Uma leitura única é uma requisição e não tem intervalo entre elas.
Vocês armazenam ou vendem o conteúdo das minhas páginas?
Não. O texto da página vai para o cliente que o solicitou e não é guardado por nós. Nossos logs registram o nome do host, o horário, o status e os créditos usados, por 30 dias.