Testar
10.000 páginas
US$ 3,75
US$ 0,38/1K páginas
- Teste com suas URLs reais
- Mesma API do maior pacote
- Os créditos nunca expiram
Resposta rápida
Como posso rastrear um site inteiro e obter cada página em Markdown?
Use uma API de crawl: você envia uma URL inicial e um limite, e ela retorna cada página do site em Markdown. WebReaderAPI rastreia até 10.000 páginas por job dentro de um domínio, segue o sitemap, o robots.txt e o Crawl-delay, e cobra um crédito por página lida, a partir de US$ 0,07/1K páginas em outubro de 2026. Páginas recusadas pelo robots.txt são gratuitas. Sem KYC; pague com cripto.
API de crawl em resumo
| Iniciar um crawl | POST https://webreaderapi.com/api/v1/crawl com url, limit, max_depth, include_paths, exclude_paths |
|---|---|
| Obter os resultados | GET https://webreaderapi.com/api/v1/jobs/{job_id}, paginado com um cursor |
| Escopo | Rastreie um site por job, até 10.000 páginas, seguindo o sitemap, o robots.txt e o Crawl-delay do site |
| Muitas URLs separadas | POST https://webreaderapi.com/api/v1/batch: Até 100 URLs por job em lote |
| Cobrança | 1 crédito = 1 página lida sem navegador; 2 créditos quando a página precisa de um navegador para renderizar JavaScript. Uma requisição que falha, ou que o robots.txt de um site recusa, não é cobrada |
| Proprietários de sites | Respeitamos o robots.txt: nosso crawler se identifica como WebReaderAPI, segue as regras escritas para ele ou para todos os robôs e não lê uma página que o site proíbe. Páginas recusadas não são cobradas |
| Preço | US$ 14,25 por 50.000 páginas, US$ 50 por 500.000 páginas |
Como funciona um job de rastreamento (crawl)?
Um rastreamento (crawl) é um job em segundo plano, porque ler centenas de páginas leva mais tempo do que uma única requisição HTTP deveria.
- Início:
POST https://webreaderapi.com/api/v1/crawlcom a URL inicial e seus limites. Você recebe umjob_idna hora. - Descoberta: o rastreador lê o robots.txt e o sitemap do site e depois segue os links dentro do mesmo domínio, em largura, até
max_depth. - Leitura: cada página permitida é lida com as mesmas opções de
/read: Markdown, conteúdo principal, renderização quando necessário. - Coleta: consulte
GET https://webreaderapi.com/api/v1/jobs/{job_id}e percorra os resultados com o cursor enquanto o job roda, ou quando ele estiverdone.
O job para no seu limit, então você nunca paga por mais páginas do que pediu.
import os
import pathlib
import re
import time
import requests
API = "https://webreaderapi.com/api/v1"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}
job = requests.post(
API + "/crawl",
headers=HEADERS,
json={"url": "https://docs.example.com/", "limit": 500, "max_depth": 4, "include_paths": ["/guide/*"]},
timeout=60,
).json()
out = pathlib.Path("docs_md")
out.mkdir(exist_ok=True)
cursor, delay = None, 5
while True:
params = {"cursor": cursor} if cursor else {}
page = requests.get(API + "/jobs/" + job["job_id"], headers=HEADERS, params=params, timeout=60).json()
for item in page.get("results", []):
if "markdown" in item:
name = re.sub(r"[^a-z0-9]+", "-", item["url"].lower()).strip("-")[:120]
(out / (name + ".md")).write_text(item["markdown"], encoding="utf-8")
cursor = page.get("next_cursor")
if page["status"] == "done" and not cursor:
break
if not cursor:
time.sleep(delay)
delay = min(delay * 2, 60)
print("credits used:", page.get("credits_used"))
Quais páginas o rastreador visita e quais ele pula?
Ele permanece dentro do domínio da URL inicial e pula tudo o que o site pede para os robôs deixarem em paz. Em detalhe:
- Apenas o mesmo domínio. Links para outros domínios aparecem nos resultados, mas não são lidos.
- robots.txt primeiro. Páginas não permitidas para
WebReaderAPIou para todos os robôs são puladas e não são cobradas. - Crawl-delay respeitado. Se o site definir um, o rastreador espera esse tempo entre duas páginas, então um site grande pode levar mais tempo.
- Seus filtros.
include_pathseexclude_pathsaceitam padrões simples como/blog/*; use-os para evitar páginas de tags, páginas de busca e arquivos. - Duplicatas removidas. A mesma página alcançada por duas URLs, por exemplo com parâmetros de rastreamento, é lida uma vez quando o site declara uma URL canônica.
Devo usar um crawl ou um lote?
Use um crawl quando você conhece o site, mas não as páginas; use um lote quando já tem a lista de URLs. Um crawl descobre páginas a partir do sitemap e dos links. Um lote lê exatamente as URLs que você envia, até 100 por job, em qualquer número de sites.
Para uma atualização semanal de uma base de conhecimento, um padrão comum é um crawl para montar o índice e depois lotes das páginas cujo lastmod mudou no sitemap. Isso mantém o custo semanal restrito às páginas que de fato mudaram.
Quanto custa rastrear um site?
Um crédito por página lida, dois para páginas que precisaram de um navegador. Um site de documentação de 1.500 páginas que renderiza no servidor custa 1.500 créditos; o mesmo site construído como aplicação de página única pode custar até 3.000.
Três jobs típicos, em outubro de 2026: um manual de produto de 300 páginas cabe no pack 10.000 páginas (US$ 3,75); dez sites de documentação de 2.000 páginas cada cabem em 50.000 páginas (US$ 14,25); um arquivo de 400.000 páginas cabe em 500.000 páginas (US$ 50). Páginas puladas e com falha são gratuitas.
Qual pack serve para um crawl?
Dimensione o pack pelo número de páginas e acrescente uma margem para páginas que precisam de um navegador. Os créditos nunca expiram, então o restante serve para o próximo crawl.
Starter
50.000 páginas
US$ 14,25
US$ 0,28/1K páginas
- Um agente de IA ou um protótipo de RAG
- Rastrear (crawl) um site de documentação
- Os créditos nunca expiram
Build
100.000 páginas
US$ 21,75
US$ 0,22/1K páginas
- Agentes de produção e pipelines de RAG
- Tarefas em lote e de rastreamento (crawl)
- Os créditos nunca expiram
Scale
500.000 páginas
US$ 50
US$ 0,10/1K páginas
- Grandes bases de conhecimento
- Concorrência maior sob solicitação
- Os créditos nunca expiram
Em todos os planos: Extração do conteúdo principal · Renderização de JavaScript quando necessário · Páginas com falha e recusadas não são cobradas · Os créditos nunca expiram
API de crawl: perguntas frequentes
Quantas páginas um crawl pode ler?
Até 10.000 páginas por job, dentro do domínio da URL inicial. Para um site maior, divida em vários jobs com include_paths, por exemplo um por seção.
O rastreador usa o sitemap?
Sim. Ele lê o sitemap listado no robots.txt ou no local habitual e depois segue os links nas páginas que lê. Páginas listadas apenas no sitemap ainda são lidas se o robots.txt permitir.
Posso rastrear um site que bloqueia rastreadores de IA?
Não com WebReaderAPI. Se o robots.txt não permitir nosso rastreador ou todos os robôs, essas páginas são puladas e não são cobradas. Se o site declarar Content-Signal: ai-input=no, não o lemos para você. Nunca tentamos contornar essas escolhas.
Posso obter os resultados enquanto o crawl ainda está rodando?
Sim. GET https://webreaderapi.com/api/v1/jobs/{job_id} retorna as páginas lidas até o momento com um cursor; continue paginando até o job estar done e não restar nenhum cursor.
Um crawl pode ler mais páginas que meu limite?
Não. Os créditos são contados página por página, e o job para quando atinge o limit que você definiu. Páginas puladas por causa do robots.txt e páginas com falha não usam crédito.