# Converter seu site em Markdown: faça o crawl e exporte cada página

> Converta seu site em arquivos Markdown: faça o crawl do seu site e exporte cada página com front matter, para migração, backup ou seu assistente.

- URL: https://webreaderapi.com/pt/use-cases/website-to-markdown/
- Última atualização: 2026-10-22
- Editor: WebReaderAPI (https://webreaderapi.com)

Mudar para um gerador de site estático, uma plataforma de docs ou uma base de conhecimento muitas vezes começa com uma pergunta: como tiro minhas páginas daqui como Markdown limpo? Um crawl faz isso em um único job, com títulos, datas e URLs mantidos no front matter.

**Resposta rápida — Como converto meu site inteiro em Markdown?**

Faça o crawl do seu site, leia o conteúdo principal de cada página como Markdown e grave um arquivo `.md` por página com título, URL e data no front matter. **WebReaderAPI** faz o crawl de até 10.000 páginas por job, segue seu sitemap e robots.txt e cobra um crédito por página a partir de US$ 0,07/1K páginas em outubro de 2026. Um script Python abaixo grava os arquivos. Sem KYC; pague com cripto.

## Exportação do site com WebReaderAPI

| Atributo | Valor |
| --- | --- |
| Endpoint | `POST https://webreaderapi.com/api/v1/crawl`, resultados de `GET https://webreaderapi.com/api/v1/jobs/{job_id}` |
| Escopo | Rastreie um site por job, até 10.000 páginas, seguindo o sitemap, o robots.txt e o Crawl-delay do site |
| Por página | Markdown do conteúdo principal, mais título, descrição, autor, data e idioma |
| Páginas inteiras | `main_content=false` mantém a navegação e os rodapés quando você precisa deles |
| Seu robots.txt | Deve permitir `WebReaderAPI` para as páginas que você exporta |
| Preço | US$ 3,75 por 10.000 páginas; os créditos nunca expiram |

## Quando uma exportação em Markdown é útil?

Sempre que o conteúdo precisa sair do sistema que o renderiza. Casos comuns:

- **Migrações.** Sair de um CMS para um gerador de site estático ou uma plataforma de documentação que armazena páginas como Markdown.
- **Backups.** Um arquivo legível das suas páginas publicadas que não depende de nenhum banco de dados ou tema.
- **Seu próprio assistente.** Alimentar o texto do seu site em um bot de ajuda ou uma busca interna, com cada chunk vinculado à sua página.
- **Auditorias.** Ler todas as suas páginas como texto simples para encontrar afirmações desatualizadas, redação quebrada ou conteúdo duplicado.

Em cada caso você quer as palavras e a estrutura, não o tema ao redor delas.

*Python: faça o crawl do seu site em arquivos Markdown com front matter*

```python
import os
import pathlib
import time
from urllib.parse import urlparse

import requests

API = "https://webreaderapi.com/api/v1"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}
SITE = "https://www.example.com/"
OUT = pathlib.Path("export")


def target_path(url):
    path = urlparse(url).path.strip("/") or "index"
    return OUT / (path + ".md")


def front_matter(page):
    fields = {"title": page.get("title", ""), "source": page["final_url"], "date": page.get("published_at") or ""}
    lines = ["---"] + [key + ": " + repr(value) for key, value in fields.items()] + ["---", ""]
    return "\n".join(lines)


job = requests.post(API + "/crawl", headers=HEADERS, json={"url": SITE, "limit": 2000, "max_depth": 5}, timeout=60).json()
cursor, delay, written = None, 5, 0
while True:
    params = {"cursor": cursor} if cursor else {}
    batch = requests.get(API + "/jobs/" + job["job_id"], headers=HEADERS, params=params, timeout=60).json()
    for page in batch.get("results", []):
        if "markdown" not in page:
            continue
        dest = target_path(page["final_url"])
        dest.parent.mkdir(parents=True, exist_ok=True)
        dest.write_text(front_matter(page) + page["markdown"] + "\n", encoding="utf-8")
        written += 1
    cursor = batch.get("next_cursor")
    if batch["status"] == "done" and not cursor:
        break
    if not cursor:
        time.sleep(delay)
        delay = min(delay * 2, 60)
print(written, "files in", OUT)

```

## Como mantenho a estrutura de pastas e as URLs?

Replique o caminho da URL no caminho do arquivo, como o script faz: `/guides/setup/` vira `export/guides/setup.md`. Mantenha a URL original no front matter como `source`, para poder configurar redirecionamentos depois da migração e verificar que nada se perdeu.

Os links dentro do Markdown ainda apontam para as suas URLs atuais. Depois da mudança, substitua o domínio ou o prefixo do caminho de uma só vez e depois teste uma amostra de páginas. Tabelas e blocos de código permanecem como Markdown, então a maioria dos geradores estáticos os renderiza sem alterações.

## E se o meu próprio robots.txt bloquear os crawlers?

Permita o nosso token durante a exportação. O WebReaderAPI lê apenas o que o robots.txt permite para `WebReaderAPI` ou para todos os robôs, inclusive no seu próprio site. Adicione um grupo como `User-agent: WebReaderAPI` com `Allow: /`, execute o crawl e depois remova-o se quiser.

Nossa [página do crawler](https://webreaderapi.com/pt/bot/) mostra as linhas exatas e o User-Agent que os logs do seu servidor vão mostrar. As páginas que continuarem bloqueadas são ignoradas e não são cobradas.

## Quanto custa uma exportação?

Um crédito por página, dois para páginas que precisam de um navegador para mostrar o texto. Um site de 2.000 páginas renderizadas no servidor custa 2.000 créditos uma vez; o mesmo site como um app JavaScript pode custar até 4.000. Os dois cabem em 10.000 páginas por US$ 3,75, em outubro de 2026.

Um site de 50.000 páginas precisa de vários jobs, divididos por seção com `include_paths`, e cabe em 100.000 páginas (US$ 21,75). Os créditos que sobrarem após a exportação ficam na sua conta para atualizações futuras.

## Qual pacote cobre minha exportação?

Conte suas páginas, dobre a contagem se o site precisar de JavaScript para renderizar e escolha o pacote acima disso. Os créditos nunca expiram.

| Plano | Quantidade | Preço | Preço por unidade |
| --- | --- | --- | --- |
| Testar | 10.000 páginas | US$ 3,75 | US$ 0,38/1K páginas |
| Starter | 50.000 páginas | US$ 14,25 | US$ 0,28/1K páginas |
| Build | 100.000 páginas | US$ 21,75 | US$ 0,22/1K páginas |

Em todos os planos: Extração do conteúdo principal · Renderização de JavaScript quando necessário · Páginas com falha e recusadas não são cobradas · Os créditos nunca expiram

**Antes de pagar**

- Recarga mínima US$ 25. Recarregue uma vez com cripto e depois compre qualquer plano usando seu saldo.
- Seu saldo não tem data de validade e pode comprar créditos de página a qualquer momento. Se um pacote custar menos que o valor mínimo de recarga, o valor que você adicionou apenas para atingir esse mínimo pode ser devolvido mediante solicitação em até 30 dias após o pagamento, em USDT ou USDC, desde que você não o tenha gasto. Qualquer outro saldo não é reembolsado, a menos que a lei determine o contrário.
- Creditado assim que seu pagamento é verificado na blockchain. Tempo habitual de confirmação da rede: BTC ≈ 20 min · USDT TRC-20 ≈ 1 min · USDT ERC-20 ≈ 5 min · USDC ERC-20 ≈ 5 min · ETH ≈ 5 min · SOL ≈ 1 min · LTC ≈ 15 min

## Website para Markdown: perguntas comuns

### Posso exportar a página inteira, incluindo menus e rodapé?

Sim. Defina `main_content=false` nas opções de rastreamento (crawl) e cada arquivo conterá a página completa convertida em Markdown. A maioria das migrações prefere apenas o conteúdo principal, porque o novo tema traz a própria navegação.

### As imagens são baixadas?

Não. Com `include_images=true`, os links das imagens permanecem no Markdown com o texto alternativo; baixe os arquivos em si com seu próprio script se a migração precisar deles.

### Posso exportar um site que não é meu?

Apenas páginas públicas que o robots.txt permite, e somente para usos que os termos e a lei permitem. Para uma migração ou backup, exporte seus próprios sites ou sites cujo dono concordou.

### Qual o tamanho de site que um job consegue processar?

Até 10.000 páginas por job de rastreamento (crawl), dentro de um único domínio. Divida sites maiores por seção com `include_paths` e execute vários jobs.

---

WebReaderAPI: O WebReaderAPI é uma API de leitor web para agentes de IA que converte qualquer página web pública em Markdown limpo, pago com cripto e sem envio de documentos. Os créditos pré-pagos a partir de US$ 0,07/1K páginas nunca expiram, e o robots.txt é respeitado. Sem KYC — sem documento, sem selfie, sem envio de arquivos. Pague com cripto.