Glossário da API de leitura web

A linguagem de marcação das páginas web. O HTML bruto mistura o texto que você quer com tags, scripts e estilos, e é por isso que ele é ruim de ler para um modelo de linguagem.

O Document Object Model: a árvore de elementos que o navegador monta a partir do HTML e depois altera com JavaScript. Uma página renderizada é lida a partir do DOM, não do HTML bruto.

Executar os scripts de uma página em um navegador para que apareça o conteúdo carregado depois da primeira resposta. O WebReaderAPI faz isso quando necessário (render=auto), por dois créditos em vez de um.

Um motor de navegador real que roda sem tela, controlado por software. É assim que páginas com muito JavaScript são renderizadas em um servidor.

Encontrar a parte da página que o leitor veio buscar, como o artigo ou a documentação, e deixar de fora tudo ao redor. Na nossa API isso é main_content=true, o padrão.

Tanto uma qualidade do texto quanto o nome de uma família conhecida de algoritmos que pontuam os blocos da página para encontrar o conteúdo principal, como fazem os modos de leitura dos navegadores.

Texto repetido em todas as páginas de um site: menus, avisos de cookies, barras laterais, rodapés, botões de compartilhar. Removê-lo é a maior parte do trabalho de um leitor de páginas web.

Um formato de texto simples em que # marca um título, - um item de lista e [text](url) um link. Os modelos leem bem e ele usa muito menos tokens que o HTML.

Informações sobre uma página, e não o texto dela: título, descrição, autor, data de publicação, idioma. O WebReaderAPI os retorna junto do Markdown quando a página os informa.

Converter o texto de um arquivo PDF em Markdown. Arquivos PDF de até 20 MB e 100 páginas são convertidos em Markdown, a 1 crédito por bloco iniciado de 10 páginas.

Um arquivo XML em que um site lista suas páginas. Um job de rastreamento (crawl) começa por ele quando existe, o que encontra páginas mais rápido e com menos requisições.

Uma barreira que mostra o conteúdo apenas para assinantes. O WebReaderAPI nunca lê atrás de uma.

Um programa que busca páginas web com um propósito. O nosso busca apenas as páginas que os clientes pedem, e a página do bot descreve isso.

O nome que um cliente envia em cada requisição. O nosso é WebReaderAPI/1.0 (+https://webreaderapi.com/bot/), então os donos de sites sempre sabem quem está pedindo.

Um arquivo na raiz de um site que diz aos crawlers quais caminhos eles podem buscar, padronizado como RFC 9309. Respeitamos o robots.txt: nosso crawler se identifica como WebReaderAPI, segue as regras escritas para ele ou para todos os robôs e não lê uma página que o site proíbe. Páginas recusadas não são cobradas.

Uma linha do robots.txt que pede aos crawlers para esperar um número de segundos entre requisições. Nossos jobs de rastreamento (crawl) a respeitam.

Uma política para linhas do robots.txt como Content-Signal: search=yes, ai-input=no, que declaram como o conteúdo de um site pode ser usado, inclusive por IA.

A configuração do Content Signals que cobre o uso de uma página como entrada para uma resposta de IA. Se um site declara Content-Signal: ai-input=no no seu robots.txt, não lemos as páginas dele para você.

Um arquivo Markdown que alguns sites publicam em /llms.txt para dar aos modelos de linguagem um guia curto do seu conteúdo e das suas páginas principais.

Ler muitas páginas de um mesmo site seguindo seus links e seu sitemap. Rastreie um site por job, até 10.000 páginas, seguindo o sitemap, o robots.txt e o Crawl-delay do site.

Uma lista de URLs enviada em uma única requisição e processada em segundo plano. Até 100 URLs por job em lote.

O status que um servidor envia para recusar uma requisição. Quando um site responde 403 ao nosso crawler, a API retorna target_refused e não cobra nada.

O status para excesso de requisições. Vindo de um site, significa desacelerar; vindo da nossa API (concurrency_limit), significa que sua conta atingiu o limite de leituras simultâneas.

Esperar mais tempo após cada tentativa falha (por exemplo, 1, 2 e depois 4 segundos) antes de tentar de novo, para não sobrecarregar um servidor ocupado.

A unidade que um modelo de linguagem lê e pela qual é cobrado, aproximadamente uma palavra curta ou parte dela. Markdown limpo usa muito menos tokens do que a mesma página em HTML.

A quantidade de texto que um modelo consegue absorver de uma vez. O parâmetro max_chars mantém cada página dentro do orçamento que você define.

Geração aumentada por recuperação: o modelo responde a partir de documentos buscados para a pergunta. Um leitor de páginas web fornece esses documentos a partir de páginas ao vivo.

Dividir um documento longo em trechos antes de indexá-lo. Os títulos em Markdown fornecem pontos naturais de divisão.

Uma lista de números que representa o significado de um trecho, usada para encontrar trechos semelhantes a uma pergunta.

Um banco de dados que armazena embeddings e retorna os trechos mais próximos de uma consulta, o destino habitual das páginas web divididas em chunks em um sistema de RAG.

A capacidade de um modelo de pedir à aplicação que execute uma função, como ler uma URL, e de usar o resultado. Veja OpenAI function calling.

O Model Context Protocol, uma forma padrão de conectar ferramentas a clientes de IA como Claude Desktop ou Cursor. Nossa página de MCP mostra uma ferramenta de fetch construída sobre a API.

A unidade de uso da API. 1 crédito = 1 página lida sem navegador; 2 créditos quando a página precisa de um navegador para renderizar JavaScript. Uma requisição que falha, ou que o robots.txt de um site recusa, não é cobrada.

Quantas leituras sua conta pode executar no mesmo momento. Cada conta tem um limite de quantas páginas lê ao mesmo tempo; seu dashboard mostra esse limite, e o suporte pode aumentá-lo.

Know your customer: verificações de identidade que alguns serviços exigem, como um documento de identidade ou uma selfie. WebReaderAPI não pede nada disso.

Uma criptomoeda que acompanha uma moeda como o dólar americano. USDT e USDC são as duas aceitas para recargas; a lista completa de moedas está BTC, USDT, USDC, ETH, SOL, LTC.