Resposta rápida
O que é uma API de leitura de páginas web?
Uma API de web reader é um serviço que recebe uma URL, carrega a página e retorna seu conteúdo principal como texto limpo, geralmente Markdown, com metadados como título, autor e data. Agentes de IA e pipelines de RAG a utilizam em vez do HTML bruto. WebReaderAPI é uma delas: um crédito por página, a partir de US$ 0,07/1K páginas em outubro de 2026, com robots.txt respeitado, sem KYC e pagamento em cripto.
Uma API de web reader em uma tabela
| Entrada | A URL de uma página web pública ou PDF |
|---|---|
| Saída | Markdown do conteúdo principal, ou texto simples, com título, autor, data e idioma |
| Removido | Navegação, banners de cookies, anúncios, barras laterais, rodapés, scripts e estilos |
| Páginas com JavaScript | Renderizado em um navegador headless quando o HTML bruto contém texto insuficiente |
| Cobrança típica | Por página ou por crédito; alguns provedores cobram por token de saída |
| Exemplo de requisição | GET https://webreaderapi.com/api/v1/read?url=https://example.com/post |
O que uma API de web reader faz, passo a passo?
Ela realiza cinco tarefas que todo pipeline de página para texto precisa, em uma única chamada:
- Verificar permissão. Um leitor cuidadoso consulta o robots.txt do site para si mesmo e para todos os robôs antes de buscar qualquer coisa.
- Buscar a página. Ele baixa o HTML, segue redirecionamentos e para em um timeout.
- Renderizar quando necessário. Se o HTML for uma casca vazia preenchida por JavaScript, ele carrega a página em um navegador headless e lê o resultado.
- Extrair o conteúdo principal. Uma etapa no estilo de legibilidade encontra o artigo ou o corpo da documentação e descarta os elementos ao redor.
- Converter e descrever. Ele escreve o conteúdo como Markdown e adiciona metadados: título, autor, data de publicação, idioma e contagem de palavras.
O chamador recebe um objeto JSON com o Markdown dentro. Um modelo pode lê-lo de uma vez, ou um pipeline pode dividi-lo em chunks para um vector store.
Por que os modelos precisam de Markdown em vez de HTML?
Porque a maior parte de uma página HTML não é conteúdo. Menus, tags de script, código de rastreamento e marcação de layout usam tokens que um modelo precisa ler e pelos quais você precisa pagar. O Markdown mantém as partes que carregam significado: títulos, listas, tabelas, links e ênfase.
A Cloudflare deu um exemplo concreto quando lançou seu recurso "Markdown for Agents" em 12 de fevereiro de 2026: uma página caiu de 16.180 tokens como HTML para 3.150 tokens como Markdown, cerca de 80% menos. Os resultados variam por página, mas a direção é a mesma na maioria das páginas de artigos e documentação.
Como uma API de web reader é diferente de uma API de scraping?
Uma API de scraping retorna o que o servidor enviou; um reader retorna o que uma pessoa leria. As APIs de scraping são feitas para buscar páginas em escala, muitas vezes para extrair campos específicos como preços ou nomes de produtos, e geralmente retornam HTML bruto ou JSON estruturado que você define.
Um web reader é mais restrito e opinativo. Ele decide qual é o conteúdo principal, remove o resto e escreve texto limpo. Essa é a ferramenta certa quando o próximo consumidor é um modelo de linguagem, um índice de pesquisa ou uma pessoa lendo um resumo. É a ferramenta errada quando você precisa de todos os campos de uma grade de produtos; para isso, você quer o HTML completo ou uma extração baseada em esquema.
Como ela é diferente de uma API de pesquisa?
Uma API de pesquisa responde "quais páginas falam sobre isso?"; um reader responde "o que esta página diz?". A pesquisa retorna uma lista de URLs com títulos e snippets para uma consulta. Um reader pega uma dessas URLs e retorna seu texto completo.
Os agentes costumam encadear as duas: pesquisar para encontrar páginas candidatas, depois ler as três ou quatro melhores para responder com citações. Manter as etapas separadas permite escolher quantas páginas ler, o que economiza tokens e créditos.
Posso usar ferramentas de código aberto em vez de uma API?
Sim, e muitas equipes começam assim. O Readability da Mozilla extrai o conteúdo principal de uma página em um contexto de navegador; o Trafilatura faz extração em Python; o MarkItDown da Microsoft converte documentos, incluindo PDFs, para Markdown; o Crawl4AI combina rastreamento e saída em Markdown.
A biblioteca é a parte fácil. Executá-la em produção significa hospedar navegadores headless para páginas JavaScript, verificar o robots.txt, lidar com timeouts, redirecionamentos e conjuntos de caracteres, converter PDFs e manter tudo atualizado. Uma API vale a pena quando você prefere pagar por página a operar essa maquinaria; uma biblioteca vale a pena quando os volumes são estáveis e você tem tempo para operá-la.
Como as APIs de web reader cobram?
Três modelos de cobrança são comuns em 2026. Planos baseados em créditos cobram um número definido de créditos por página: a página de preços do Firecrawl, consultada em 22 de outubro de 2026, conta 1 crédito por página raspada e 4 créditos extras por página pelo seu formato JSON. A cobrança baseada em tokens cobra pelo texto retornado: o Jina Reader cobra assim desde 6 de maio de 2025 e dá 10 milhões de tokens gratuitos para cada nova chave. Planos mensais renovam seus créditos a cada ciclo, enquanto pacotes pré-pagos os mantêm.
WebReaderAPI usa créditos pré-pagos que nunca expiram: 1 crédito = 1 página lida sem navegador; 2 créditos quando a página precisa de um navegador para renderizar JavaScript. Uma requisição que falha, ou que o robots.txt de um site recusa, não é cobrada. 10.000 páginas custam US$ 3,75 e a tarifa cai para US$ 0,07/1K páginas em 5.000.000 de páginas, em outubro de 2026.
O que devo verificar antes de escolher uma API de web reader?
Teste com vinte URLs suas e observe seis coisas:
- Qualidade da extração. O Markdown mantém o artigo e descarta o resto, incluindo tabelas e blocos de código?
- JavaScript. Páginas construídas no navegador retornam com texto, e quanto custa a renderização?
- PDFs. Eles são suportados, e como as páginas são contadas?
- Escolhas dos donos de sites. O serviço respeita o robots.txt e as preferências de IA declaradas, e informa isso na documentação?
- Falhas. Páginas com falha e recusadas são cobradas?
- Controle de orçamento. Você pode limitar o comprimento de cada página, e os créditos expiram?
Nossa comparação de preços de APIs de web reader coloca os principais provedores lado a lado com datas.
API de web reader: perguntas comuns
Uma API de web reader é o mesmo que o modo leitor do navegador?
Ela segue a mesma ideia, mantendo o artigo e descartando a desordem, mas roda em um servidor, retorna Markdown e metadados como JSON, e funciona para milhares de URLs. O modo leitor é para uma pessoa lendo uma página.
Uma API de web reader pode ler qualquer site?
Não. Ela lê páginas públicas que permitem isso. Um serviço cuidadoso ignora páginas que o robots.txt não permite e retorna a resposta do site quando o site recusa. Páginas atrás de login ou paywall ficam fora de alcance por design.
Um leitor de páginas web mantém as imagens?
Normalmente não por padrão, porque os modelos geralmente precisam do texto. Com WebReaderAPI, o include_images=true mantém as imagens como links de imagem em Markdown com o texto alternativo.
Quanto tempo leva para ler uma página?
Depende do site e de a página precisar ou não de um navegador. Não publicamos tempos de resposta até tê-los medido em uma amostra pública; planeje seus timeouts com base no parâmetro timeout, que vai até 60 segundos.
Preciso de uma conta com documento de identidade para usar o WebReaderAPI?
Não. O WebReaderAPI não pede documento, selfie nem comprovantes. Seu login é um número de conta, e o pagamento é em BTC, USDT, USDC, ETH, SOL, LTC.
Fontes (3)
- Apresentando o Markdown for Agents — Cloudflare (2026-02-12)
- Preços do Firecrawl — Firecrawl (read 2026-10-22)
- API de leitura de páginas web — Jina AI (Elastic) (read 2026-10-22)