Testar
10.000 páginas
US$ 3,75
US$ 0,38/1K páginas
- Teste com suas URLs reais
- Mesma API do maior pacote
- Os créditos nunca expiram
Resposta rápida
Como faço para ingerir páginas web em um pipeline de RAG?
Leia cada página como Markdown do seu conteúdo principal, divida-a pelos seus títulos, anexe a URL de origem e o título a cada chunk e depois gere os embeddings e armazene. WebReaderAPI cuida da leitura: uma requisição por página, ou um job de rastreamento (crawl) para um site inteiro de até 10.000 páginas, a um crédito por página a partir de US$ 0,07/1K páginas em outubro de 2026. O robots.txt é respeitado. Sem KYC; pague com cripto.
Ingestão de RAG com WebReaderAPI
| Site inteiro | POST https://webreaderapi.com/api/v1/crawl: Rastreie um site por job, até 10.000 páginas, seguindo o sitemap, o robots.txt e o Crawl-delay do site |
|---|---|
| Lista de URLs | POST https://webreaderapi.com/api/v1/batch: Até 100 URLs por job em lote |
| Por página | Markdown do conteúdo principal, título, autor, data, idioma, contagem de palavras |
| PDFs | Arquivos PDF de até 20 MB e 100 páginas são convertidos em Markdown, a 1 crédito por bloco iniciado de 10 páginas |
| Cobrança | 1 crédito = 1 página lida sem navegador; 2 créditos quando a página precisa de um navegador para renderizar JavaScript. Uma requisição que falha, ou que o robots.txt de um site recusa, não é cobrada |
| Preço | US$ 14,25 por 50.000 páginas; os créditos nunca expiram |
Por que o Markdown limpo melhora a recuperação?
Chunks feitos de boilerplate recuperam mal. Quando uma página é dividida com seus menus, texto de cookies e rodapé ainda nela, muitos chunks contêm as mesmas palavras de navegação, e a busca vetorial os retorna para perguntas não relacionadas. A extração do conteúdo principal remove esse ruído antes de você gerar os embeddings.
Os títulos importam tanto quanto. Um chunk que começa com ## Refund policy carrega seu tópico consigo, então tanto o embedding quanto o modelo que o lê depois sabem sobre o que ele é. Texto simples perde esse sinal; HTML bruto o esconde sob a marcação.
Como é um pipeline de ingestão?
Cinco etapas, qualquer que seja o vector store que você use:
- Colete as URLs. Faça o crawl do site ou envie como lote a lista que você já tem.
- Leia como Markdown. Mantenha
main_content=truepara artigos e docs; usefalsepara páginas de listagem. - Divida por heading. Separe em
#,##e###, depois corte as seções longas no seu limite de tamanho com uma pequena sobreposição. - Anexe metadados. Guarde
url,title,published_ate o caminho de headings com cada chunk, para que as respostas possam citar a fonte. - Atualize. Releia as páginas cujo
lastmoddo sitemap mudou e exclua os chunks das páginas que agora retornam erro.
import os
import re
import requests
API = "https://webreaderapi.com/api/v1/read"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}
URLS = [
"https://docs.example.com/getting-started",
"https://docs.example.com/billing",
]
def chunks_for(url, max_len=2000):
page = requests.get(API, headers=HEADERS, params={"url": url}, timeout=90).json()
if "markdown" not in page:
return []
out = []
for section in re.split(r"\n(?=#{1,3} )", page["markdown"]):
section = section.strip()
heading = section.splitlines()[0] if section else ""
for start in range(0, len(section), max_len):
out.append({
"text": section[start:start + max_len],
"url": page.get("final_url", url),
"title": page.get("title"),
"heading": heading,
})
return out
all_chunks = [c for u in URLS for c in chunks_for(u)]
print(len(all_chunks), "chunks ready to embed")
Quanto custa construir e atualizar um índice?
Construir custa um crédito por página, dois para páginas que precisam de um navegador. Atualizar custa apenas as páginas que você relê. Três exemplos, com os preços de outubro de 2026:
- A central de ajuda de um produto com 800 páginas, atualizada mensalmente apenas nas páginas alteradas (cerca de 10%): 800 créditos uma vez, depois cerca de 80 por mês. 10.000 páginas (US$ 3,75) duram anos.
- Dez sites de documentação com 2.000 páginas cada, atualizados semanalmente a 5%: 20.000 créditos, depois cerca de 4.000 por mês. 50.000 páginas (US$ 14,25) cobrem a construção e sete meses de atualizações.
- Um arquivo de notícias com 300.000 artigos que nunca mudam: 300.000 créditos uma vez, que cabem em 500.000 páginas (US$ 50).
Embedding e armazenamento são cobrados pelos seus próprios provedores e não estão incluídos.
Posso indexar sites que não querem ser indexados?
Não pelo WebReaderAPI. Páginas bloqueadas pelo robots.txt para o nosso crawler, ou para todos os robôs, são ignoradas e não são cobradas; sites que declaram Content-Signal: ai-input=no não são lidos para você. Para os seus próprios sites ou sites parceiros que bloqueiam robôs, peça ao proprietário para permitir WebReaderAPI no robots.txt; nossa página do crawler mostra as linhas a adicionar.
Isso importa para os seus usuários também. Um assistente RAG que cita fontes é mais útil quando essas fontes concordaram em ser lidas.
Qual pack se encaixa em um projeto RAG?
Conte as páginas para construir o índice, some a atualização mensal e escolha o pack que cobre alguns meses. Os créditos nunca expiram.
Starter
50.000 páginas
US$ 14,25
US$ 0,28/1K páginas
- Um agente de IA ou um protótipo de RAG
- Rastrear (crawl) um site de documentação
- Os créditos nunca expiram
Build
100.000 páginas
US$ 21,75
US$ 0,22/1K páginas
- Agentes de produção e pipelines de RAG
- Tarefas em lote e de rastreamento (crawl)
- Os créditos nunca expiram
Scale
500.000 páginas
US$ 50
US$ 0,10/1K páginas
- Grandes bases de conhecimento
- Concorrência maior sob solicitação
- Os créditos nunca expiram
Em todos os planos: Extração do conteúdo principal · Renderização de JavaScript quando necessário · Páginas com falha e recusadas não são cobradas · Os créditos nunca expiram
RAG ingestion: perguntas frequentes
Qual tamanho de chunk devo usar?
Divida primeiro por headings e depois corte as seções com mais de cerca de 500 a 1.000 tokens com uma pequena sobreposição. Chunks baseados em headings mantêm um único tópico cada, o que geralmente recupera melhor do que janelas de tamanho fixo sobre a página inteira.
O WebReaderAPI cria embeddings ou armazena vetores?
Não. O WebReaderAPI lê páginas e retorna Markdown com metadados. Você faz o embedding com o modelo da sua escolha e armazena no seu próprio banco de dados vetorial; a página de LangChain e LlamaIndex mostra os dois.
Como mantenho o índice atualizado?
Releia apenas as páginas que mudaram. A maioria dos sitemaps traz uma data lastmod por URL; compare com a sua última leitura e envie as URLs alteradas como um lote. As páginas que agora falham devem ser removidas do índice.
Posso incluir PDFs do mesmo site?
Sim. Um crawl lê os links de PDF no mesmo domínio com as mesmas verificações de robots.txt. Arquivos PDF de até 20 MB e 100 páginas são convertidos em Markdown, a 1 crédito por bloco iniciado de 10 páginas.