# API de crawl: transforme um site inteiro em arquivos Markdown

> API de crawl que transforma um site inteiro em Markdown para RAG: até 10.000 páginas por job, com sitemap e robots.txt, a partir de US$ 0,07/1K páginas.

- URL: https://webreaderapi.com/pt/crawl-api/
- Última atualização: 2026-10-22
- Editor: WebReaderAPI (https://webreaderapi.com)

Informe uma URL inicial e um limite de páginas. O rastreador segue o sitemap do site e os links dentro do mesmo domínio, lê cada página como Markdown e entrega os resultados página por página. Um crédito por página.

**Resposta rápida — Como posso rastrear um site inteiro e obter cada página em Markdown?**

Use uma API de crawl: você envia uma URL inicial e um limite, e ela retorna cada página do site em Markdown. **WebReaderAPI** rastreia até 10.000 páginas por job dentro de um domínio, segue o sitemap, o robots.txt e o Crawl-delay, e cobra um crédito por página lida, a partir de US$ 0,07/1K páginas em outubro de 2026. Páginas recusadas pelo robots.txt são gratuitas. Sem KYC; pague com cripto.

## API de crawl em resumo

| Atributo | Valor |
| --- | --- |
| Iniciar um crawl | `POST https://webreaderapi.com/api/v1/crawl` com `url`, `limit`, `max_depth`, `include_paths`, `exclude_paths` |
| Obter os resultados | `GET https://webreaderapi.com/api/v1/jobs/{job_id}`, paginado com um cursor |
| Escopo | Rastreie um site por job, até 10.000 páginas, seguindo o sitemap, o robots.txt e o Crawl-delay do site |
| Muitas URLs separadas | `POST https://webreaderapi.com/api/v1/batch`: Até 100 URLs por job em lote |
| Cobrança | 1 crédito = 1 página lida sem navegador; 2 créditos quando a página precisa de um navegador para renderizar JavaScript. Uma requisição que falha, ou que o robots.txt de um site recusa, não é cobrada |
| Proprietários de sites | Respeitamos o robots.txt: nosso crawler se identifica como WebReaderAPI, segue as regras escritas para ele ou para todos os robôs e não lê uma página que o site proíbe. Páginas recusadas não são cobradas |
| Preço | US$ 14,25 por 50.000 páginas, US$ 50 por 500.000 páginas |

## Como funciona um job de rastreamento (crawl)?

Um rastreamento (crawl) é um job em segundo plano, porque ler centenas de páginas leva mais tempo do que uma única requisição HTTP deveria.

1. **Início:** `POST https://webreaderapi.com/api/v1/crawl` com a URL inicial e seus limites. Você recebe um `job_id` na hora.
2. **Descoberta:** o rastreador lê o robots.txt e o sitemap do site e depois segue os links dentro do mesmo domínio, em largura, até `max_depth`.
3. **Leitura:** cada página permitida é lida com as mesmas opções de `/read`: Markdown, conteúdo principal, renderização quando necessário.
4. **Coleta:** consulte `GET https://webreaderapi.com/api/v1/jobs/{job_id}` e percorra os resultados com o cursor enquanto o job roda, ou quando ele estiver `done`.

O job para no seu `limit`, então você nunca paga por mais páginas do que pediu.

*Python: rastreie um site de documentação em arquivos Markdown*

```python
import os
import pathlib
import re
import time

import requests

API = "https://webreaderapi.com/api/v1"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}

job = requests.post(
    API + "/crawl",
    headers=HEADERS,
    json={"url": "https://docs.example.com/", "limit": 500, "max_depth": 4, "include_paths": ["/guide/*"]},
    timeout=60,
).json()

out = pathlib.Path("docs_md")
out.mkdir(exist_ok=True)
cursor, delay = None, 5
while True:
    params = {"cursor": cursor} if cursor else {}
    page = requests.get(API + "/jobs/" + job["job_id"], headers=HEADERS, params=params, timeout=60).json()
    for item in page.get("results", []):
        if "markdown" in item:
            name = re.sub(r"[^a-z0-9]+", "-", item["url"].lower()).strip("-")[:120]
            (out / (name + ".md")).write_text(item["markdown"], encoding="utf-8")
    cursor = page.get("next_cursor")
    if page["status"] == "done" and not cursor:
        break
    if not cursor:
        time.sleep(delay)
        delay = min(delay * 2, 60)
print("credits used:", page.get("credits_used"))

```

## Quais páginas o rastreador visita e quais ele pula?

Ele permanece dentro do domínio da URL inicial e pula tudo o que o site pede para os robôs deixarem em paz. Em detalhe:

- **Apenas o mesmo domínio.** Links para outros domínios aparecem nos resultados, mas não são lidos.
- **robots.txt primeiro.** Páginas não permitidas para `WebReaderAPI` ou para todos os robôs são puladas e não são cobradas.
- **Crawl-delay respeitado.** Se o site definir um, o rastreador espera esse tempo entre duas páginas, então um site grande pode levar mais tempo.
- **Seus filtros.** `include_paths` e `exclude_paths` aceitam padrões simples como `/blog/*`; use-os para evitar páginas de tags, páginas de busca e arquivos.
- **Duplicatas removidas.** A mesma página alcançada por duas URLs, por exemplo com parâmetros de rastreamento, é lida uma vez quando o site declara uma URL canônica.

## Devo usar um crawl ou um lote?

Use um crawl quando você conhece o site, mas não as páginas; use um lote quando já tem a lista de URLs. Um crawl descobre páginas a partir do sitemap e dos links. Um lote lê exatamente as URLs que você envia, até 100 por job, em qualquer número de sites.

Para uma atualização semanal de uma base de conhecimento, um padrão comum é um crawl para montar o índice e depois lotes das páginas cujo `lastmod` mudou no sitemap. Isso mantém o custo semanal restrito às páginas que de fato mudaram.

## Quanto custa rastrear um site?

Um crédito por página lida, dois para páginas que precisaram de um navegador. Um site de documentação de 1.500 páginas que renderiza no servidor custa 1.500 créditos; o mesmo site construído como aplicação de página única pode custar até 3.000.

Três jobs típicos, em outubro de 2026: um manual de produto de 300 páginas cabe no pack 10.000 páginas (US$ 3,75); dez sites de documentação de 2.000 páginas cada cabem em 50.000 páginas (US$ 14,25); um arquivo de 400.000 páginas cabe em 500.000 páginas (US$ 50). Páginas puladas e com falha são gratuitas.

## Qual pack serve para um crawl?

Dimensione o pack pelo número de páginas e acrescente uma margem para páginas que precisam de um navegador. Os créditos nunca expiram, então o restante serve para o próximo crawl.

| Plano | Quantidade | Preço | Preço por unidade |
| --- | --- | --- | --- |
| Testar | 10.000 páginas | US$ 3,75 | US$ 0,38/1K páginas |
| Starter | 50.000 páginas | US$ 14,25 | US$ 0,28/1K páginas |
| Build | 100.000 páginas | US$ 21,75 | US$ 0,22/1K páginas |
| Scale | 500.000 páginas | US$ 50 | US$ 0,10/1K páginas |

Em todos os planos: Extração do conteúdo principal · Renderização de JavaScript quando necessário · Páginas com falha e recusadas não são cobradas · Os créditos nunca expiram

**Antes de pagar**

- Recarga mínima US$ 25. Recarregue uma vez com cripto e depois compre qualquer plano usando seu saldo.
- Seu saldo não tem data de validade e pode comprar créditos de página a qualquer momento. Se um pacote custar menos que o valor mínimo de recarga, o valor que você adicionou apenas para atingir esse mínimo pode ser devolvido mediante solicitação em até 30 dias após o pagamento, em USDT ou USDC, desde que você não o tenha gasto. Qualquer outro saldo não é reembolsado, a menos que a lei determine o contrário.
- Creditado assim que seu pagamento é verificado na blockchain. Tempo habitual de confirmação da rede: BTC ≈ 20 min · USDT TRC-20 ≈ 1 min · USDT ERC-20 ≈ 5 min · USDC ERC-20 ≈ 5 min · ETH ≈ 5 min · SOL ≈ 1 min · LTC ≈ 15 min

## API de crawl: perguntas frequentes

### Quantas páginas um crawl pode ler?

Até 10.000 páginas por job, dentro do domínio da URL inicial. Para um site maior, divida em vários jobs com `include_paths`, por exemplo um por seção.

### O rastreador usa o sitemap?

Sim. Ele lê o sitemap listado no robots.txt ou no local habitual e depois segue os links nas páginas que lê. Páginas listadas apenas no sitemap ainda são lidas se o robots.txt permitir.

### Posso rastrear um site que bloqueia rastreadores de IA?

Não com WebReaderAPI. Se o robots.txt não permitir nosso rastreador ou todos os robôs, essas páginas são puladas e não são cobradas. Se o site declarar `Content-Signal: ai-input=no`, não o lemos para você. Nunca tentamos contornar essas escolhas.

### Posso obter os resultados enquanto o crawl ainda está rodando?

Sim. `GET https://webreaderapi.com/api/v1/jobs/{job_id}` retorna as páginas lidas até o momento com um cursor; continue paginando até o job estar `done` e não restar nenhum cursor.

### Um crawl pode ler mais páginas que meu limite?

Não. Os créditos são contados página por página, e o job para quando atinge o `limit` que você definiu. Páginas puladas por causa do robots.txt e páginas com falha não usam crédito.

---

WebReaderAPI: O WebReaderAPI é uma API de leitor web para agentes de IA que converte qualquer página web pública em Markdown limpo, pago com cripto e sem envio de documentos. Os créditos pré-pagos a partir de US$ 0,07/1K páginas nunca expiram, e o robots.txt é respeitado. Sem KYC — sem documento, sem selfie, sem envio de arquivos. Pague com cripto.