Glosario de la API de lectura web

El lenguaje de marcado de las páginas web. El HTML sin procesar mezcla el texto que quieres con etiquetas, scripts y estilos, por eso se lee mal para un modelo de lenguaje.

El Document Object Model: el árbol de elementos que un navegador construye a partir del HTML y luego modifica con JavaScript. Una página renderizada se lee del DOM, no del HTML sin procesar.

Ejecutar los scripts de una página en un navegador para que aparezca el contenido cargado después de la primera respuesta. WebReaderAPI lo hace cuando es necesario (render=auto), por dos créditos en lugar de uno.

Un motor de navegador real que se ejecuta sin pantalla, controlado por software. Así se renderizan en un servidor las páginas con mucho JavaScript.

Encontrar la parte de una página por la que vino el lector, como el artículo o la documentación, y dejar fuera todo lo que la rodea. En nuestra API esto es main_content=true, el valor predeterminado.

A la vez una cualidad del texto y el nombre de una conocida familia de algoritmos que puntúan los bloques de una página para encontrar el contenido principal, como hacen los modos de lectura de los navegadores.

Texto que se repite en todas las páginas de un sitio: menús, avisos de cookies, barras laterales, pies de página, botones para compartir. Eliminarlo es la mayor parte del trabajo de un lector web.

Un formato de texto plano en el que # marca un encabezado, - un elemento de lista y [text](url) un enlace. Los modelos lo leen bien y usa muchos menos tokens que HTML.

Datos sobre una página en lugar de su texto: título, descripción, autor, fecha de publicación, idioma. WebReaderAPI los devuelve junto al Markdown cuando la página los indica.

Convertir el texto de un archivo PDF a Markdown. Los archivos PDF de hasta 20 MB y 100 páginas se convierten a Markdown, a 1 crédito por cada bloque de 10 páginas iniciado.

Un archivo XML en el que un sitio enumera sus páginas. Un trabajo de rastreo (crawl) parte de él cuando existe, lo que encuentra páginas más rápido y con menos peticiones.

Una barrera que muestra el contenido solo a los suscriptores. WebReaderAPI nunca lee detrás de una.

Un programa que obtiene páginas web con un propósito. El nuestro solo obtiene las páginas que piden los clientes, y la página del bot lo describe.

El nombre que un cliente envía con cada petición. El nuestro es WebReaderAPI/1.0 (+https://webreaderapi.com/bot/), así los dueños de los sitios siempre saben quién pregunta.

Un archivo en la raíz de un sitio que indica a los rastreadores qué rutas pueden obtener, estandarizado como RFC 9309. Respetamos robots.txt: nuestro rastreador se identifica como WebReaderAPI, sigue las reglas escritas para él o para todos los robots y no lee una página que un sitio prohíbe. Las páginas rechazadas no se cobran.

Una línea de robots.txt que pide a los rastreadores esperar un número de segundos entre peticiones. Nuestros trabajos de rastreo la respetan.

Una política para líneas de robots.txt como Content-Signal: search=yes, ai-input=no, que indican cómo puede usarse el contenido de un sitio, incluso por la IA.

El ajuste de Content Signals que cubre el uso de una página como entrada para una respuesta de IA. Si un sitio declara Content-Signal: ai-input=no en su robots.txt, no leemos sus páginas para ti.

Un archivo Markdown que algunos sitios publican en /llms.txt para dar a los modelos de lenguaje una breve guía de su contenido y sus páginas clave.

Leer muchas páginas de un mismo sitio siguiendo sus enlaces y su sitemap. Rastrea un sitio web por trabajo, hasta 10.000 páginas, siguiendo su sitemap, su robots.txt y su Crawl-delay.

Una lista de URLs enviada en una sola petición y procesada en segundo plano. Hasta 100 URLs por trabajo por lotes.

El estado que envía un servidor para rechazar una petición. Cuando un sitio responde 403 a nuestro rastreador, la API devuelve target_refused y no cobra nada.

El estado para demasiadas solicitudes. Desde un sitio, significa que bajes el ritmo; desde nuestra API (concurrency_limit), significa que tu cuenta ha alcanzado su límite de lecturas simultáneas.

Esperar más tiempo tras cada intento fallido (por ejemplo 1, 2 y luego 4 segundos) antes de reintentar, para no saturar un servidor ocupado.

La unidad que lee y factura un modelo de lenguaje: más o menos una palabra corta o parte de ella. El Markdown limpio usa muchos menos tokens que la misma página en HTML.

La cantidad de texto que un modelo puede procesar a la vez. El parámetro max_chars mantiene cada página dentro del presupuesto que establezcas.

Retrieval-augmented generation (generación aumentada por recuperación): el modelo responde a partir de documentos obtenidos para la pregunta. Un lector web proporciona esos documentos desde páginas en vivo.

Dividir un documento largo en fragmentos antes de indexarlo. Los encabezados en Markdown ofrecen puntos de corte naturales.

Una lista de números que representa el significado de un fragmento, usada para encontrar fragmentos similares a una pregunta.

Una base de datos que guarda embeddings y devuelve los fragmentos más cercanos a una consulta; el hogar habitual de las páginas web troceadas en un sistema RAG.

La capacidad de un modelo de pedir a la aplicación que ejecute una función, como leer una URL, y de usar el resultado. Consulta la llamada a funciones de OpenAI.

El Model Context Protocol, una forma estándar de conectar herramientas a clientes de IA como Claude Desktop o Cursor. Nuestra página de MCP muestra una herramienta de fetch construida sobre la API.

La unidad de uso de la API. 1 crédito = 1 página leída sin navegador; 2 créditos cuando la página necesita un navegador para renderizar JavaScript. Una solicitud que falla, o que el robots.txt de un sitio rechaza, no se cobra.

Cuántas lecturas puede ejecutar tu cuenta en el mismo momento. Cada cuenta tiene un límite de cuántas páginas lee a la vez; tu panel lo muestra y el soporte puede ampliarlo.

Know your customer: comprobaciones de identidad que exigen algunos servicios, como un documento de identidad o una selfie. WebReaderAPI no solicita ninguna.

Una criptomoneda que sigue el valor de una moneda como el dólar estadounidense. USDT y USDC son las dos aceptadas para recargas; la lista completa de monedas está en BTC, USDT, USDC, ETH, SOL, LTC.