Glossario della web reader API

Il linguaggio di markup delle pagine web. L'HTML grezzo mescola il testo che vuoi con tag, script e stili, ed è per questo che un modello linguistico lo legge male.

Il Document Object Model: l'albero di elementi che un browser costruisce dall'HTML e poi modifica con JavaScript. Una pagina renderizzata viene letta dal DOM, non dall'HTML grezzo.

Eseguire gli script di una pagina in un browser così che compaia il contenuto caricato dopo la prima risposta. WebReaderAPI lo fa quando serve (render=auto), per due crediti invece di uno.

Un vero motore di browser che gira senza schermo, pilotato da un software. È così che le pagine piene di JavaScript vengono renderizzate su un server.

Trovare la parte di una pagina per cui il lettore è arrivato, come l'articolo o la documentazione, e lasciare fuori tutto il resto. Nella nostra API è main_content=true, l'impostazione predefinita.

Sia una qualità del testo sia il nome di una nota famiglia di algoritmi che valutano i blocchi di una pagina per trovare il contenuto principale, come fanno le modalità lettura nei browser.

Testo ripetuto su ogni pagina di un sito: menu, avvisi sui cookie, sidebar, footer, pulsanti di condivisione. Rimuoverlo è gran parte del lavoro di un web reader.

Un formato di testo semplice in cui # indica un titolo, - una voce di elenco e [text](url) un link. I modelli lo leggono bene e usa molti meno token dell'HTML.

Informazioni su una pagina anziché il suo testo: titolo, descrizione, autore, data di pubblicazione, lingua. WebReaderAPI li restituisce accanto al Markdown quando la pagina li dichiara.

Convertire il testo di un file PDF in Markdown. I file PDF fino a 20 MB e 100 pagine vengono convertiti in Markdown, a 1 credito per ogni blocco di 10 pagine iniziato.

Un file XML in cui un sito elenca le sue pagine. Un crawl job parte da lì quando esiste, il che trova le pagine più in fretta e con meno richieste.

Una barriera che mostra il contenuto solo agli abbonati. WebReaderAPI non legge mai dietro un paywall.

Un programma che scarica pagine web per uno scopo. Il nostro scarica solo le pagine richieste dai clienti, e la pagina del bot lo descrive.

Il nome che un client invia con ogni richiesta. Il nostro è WebReaderAPI/1.0 (+https://webreaderapi.com/bot/), così i proprietari dei siti sanno sempre chi sta chiedendo.

Un file alla radice di un sito che dice ai crawler quali percorsi possono scaricare, standardizzato come RFC 9309. Rispettiamo robots.txt: il nostro crawler si identifica come WebReaderAPI, segue le regole scritte per lui o per tutti i robot e non legge una pagina che un sito vieta. Le pagine rifiutate non vengono addebitate.

Una riga di robots.txt che chiede ai crawler di aspettare un certo numero di secondi tra le richieste. I nostri crawl job la rispettano.

Una policy per le righe di robots.txt come Content-Signal: search=yes, ai-input=no, che dichiarano come può essere usato il contenuto di un sito, anche dall'AI.

L'impostazione di Content Signals che riguarda l'uso di una pagina come input per una risposta AI. Se un sito dichiara Content-Signal: ai-input=no nel suo robots.txt, non leggiamo le sue pagine per te.

Un file Markdown che alcuni siti pubblicano su /llms.txt per dare ai modelli linguistici una breve guida ai loro contenuti e alle loro pagine principali.

Leggere molte pagine di uno stesso sito seguendo i suoi link e la sua sitemap. Crawling di un sito web per job, fino a 10.000 pagine, seguendo la sua sitemap, il suo robots.txt e il suo Crawl-delay.

Un elenco di URL inviato in una sola richiesta ed elaborato in background. Fino a 100 URL per job batch.

Lo stato che un server invia per rifiutare una richiesta. Quando un sito risponde 403 al nostro crawler, l'API restituisce target_refused e non addebita nulla.

Lo stato per troppe richieste. Da un sito, significa rallentare; dalla nostra API (concurrency_limit), significa che il tuo account ha raggiunto il limite di letture simultanee.

Aspettare sempre di più dopo ogni tentativo fallito (per esempio 1, 2, poi 4 secondi) prima di riprovare, così un server occupato non viene sommerso.

L'unità che un modello linguistico legge e in base alla quale viene fatturato, grosso modo una parola breve o parte di essa. Il Markdown pulito usa molti meno token della stessa pagina in HTML.

La quantità di testo che un modello può ricevere in una volta. Il parametro max_chars mantiene ogni pagina entro il budget che hai impostato.

Generazione aumentata dal recupero: il modello risponde a partire da documenti recuperati per la domanda. Un web reader fornisce quei documenti dalle pagine live.

Dividere un documento lungo in passaggi prima di indicizzarlo. Le intestazioni Markdown offrono punti di divisione naturali.

Una lista di numeri che rappresenta il significato di un passaggio, usata per trovare i passaggi simili a una domanda.

Un database che memorizza gli embedding e restituisce i passaggi più vicini a una query, la sede abituale delle pagine web suddivise in chunk in un sistema RAG.

La capacità di un modello di chiedere all'applicazione di eseguire una funzione, come leggere un URL, e di usarne il risultato. Vedi OpenAI function calling.

Il Model Context Protocol, un modo standard per collegare strumenti a client AI come Claude Desktop o Cursor. La nostra pagina MCP mostra un tool di fetch costruito sull'API.

L'unità di utilizzo dell'API. 1 credito = 1 pagina letta senza browser; 2 crediti quando la pagina richiede un browser per eseguire JavaScript. Una richiesta che fallisce, o che il robots.txt di un sito rifiuta, non viene addebitata.

Quante letture può eseguire il tuo account nello stesso momento. Ogni account ha un limite di pagine lette contemporaneamente; la tua dashboard lo mostra e il supporto può aumentarlo.

Know your customer: i controlli di identità che alcuni servizi richiedono, come un documento d'identità o un selfie. WebReaderAPI non ne chiede nessuno.

Una criptovaluta che segue una valuta come il dollaro USA. USDT e USDC sono le due accettate per le ricariche; la lista completa delle coin è BTC, USDT, USDC, ETH, SOL, LTC.