Risposta rapida
Che cos'è il bot di WebReaderAPI e come posso bloccarlo?
Il bot WebReaderAPI legge pagine pubbliche quando un nostro cliente chiede all'API di leggerle. Invia lo user agent WebReaderAPI/1.0 (+https://webreaderapi.com/bot/) e rispetta le regole di robots.txt scritte per il token WebReaderAPI o per tutti i robot. Per bloccarlo ovunque, aggiungi al tuo robots.txt User-agent: WebReaderAPI seguito da Disallow: /.
Il bot in breve
| Header User-Agent | WebReaderAPI/1.0 (+https://webreaderapi.com/bot/) |
|---|---|
| Token in robots.txt | WebReaderAPI |
| robots.txt | Rispettiamo robots.txt: il nostro crawler si identifica come WebReaderAPI, segue le regole scritte per lui o per tutti i robot e non legge una pagina che un sito vieta. Le pagine rifiutate non vengono addebitate |
| Segnali di preferenza per l'AI | Se un sito dichiara Content-Signal: ai-input=no nel suo robots.txt, non leggiamo le sue pagine per te |
| Quando un sito dice no | Se un sito rifiuta la nostra richiesta, restituiamo la sua risposta: non risolviamo mai CAPTCHA, non accediamo agli account e non tentiamo di aggirare un blocco o un paywall |
| Copie delle tue pagine | Nessuna conservata dopo l'invio della risposta al cliente |
| Job di crawling | Crawling di un sito web per job, fino a 10.000 pagine, seguendo la sua sitemap, il suo robots.txt e il suo Crawl-delay |
| Contatti | [email protected] |
Perché WebReaderAPI ha letto la mia pagina?
Perché un cliente dell'API l'ha richiesto. WebReaderAPI non costruisce un proprio indice del web e non naviga di propria iniziativa. Ogni lettura appartiene a uno di tre tipi di richiesta:
- Una singola lettura: un'applicazione o un agente AI ha inviato il tuo URL a
/read, di solito perché una persona ha fatto una domanda a cui la tua pagina risponde. - Un job batch: un cliente ha inviato un elenco di massimo 100 URL e il tuo era tra questi.
- Un job di crawling: un cliente ci ha chiesto di leggere un intero sito, partendo da un indirizzo e restando su quel dominio. I crawl seguono la tua sitemap e il tuo robots.txt.
Il cliente riceve il testo principale della pagina in Markdown. Dopo non ne conserviamo alcuna copia.
Come blocco il bot su tutto il mio sito?
Aggiungi un gruppo per il nostro token al tuo file robots.txt. Il bot legge /robots.txt prima di leggere una pagina e lo mette in cache per un massimo di 24 ore, quindi una modifica si applica entro un giorno al massimo.
User-agent: WebReaderAPI
Disallow: /
Posso bloccare solo una parte del mio sito o rallentare il bot?
Sì. Elenca le cartelle da escludere sotto Disallow e imposta un Crawl-delay in secondi per i job di crawling. Le regole scritte per tutti i robot (User-agent: *) valgono anche per noi quando non hai un gruppo per il nostro token. Quando invece ce l'hai, vince quel gruppo, come descrive la RFC 9309.
User-agent: WebReaderAPI
Disallow: /account/
Disallow: /drafts/
Crawl-delay: 5
Il bot rispetta i segnali di preferenza per l'AI?
Sì, quelli che un sito dichiara in robots.txt. Se il tuo file dichiara Content-Signal: ai-input=no, lo trattiamo come un rifiuto a usare le tue pagine come input per risposte AI e non le leggiamo per i nostri clienti. L'API restituisce allora al cliente l'errore blocked_by_site_policy, che non viene addebitato.
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
Cosa fa il bot quando il mio sito lo rifiuta?
Si ferma e riporta la tua risposta. Uno stato 403 o 429, una pagina di challenge, un form di login o un paywall mettono fine alla richiesta. Il cliente riceve l'errore target_refused con il tuo codice di stato e non viene addebitato.
Il bot non risolve mai challenge, non effettua mai il login, non cambia mai il suo user agent per sembrare un browser e non riprova mai in incognito. Se vuoi che leggiamo le tue pagine, consenti il token in robots.txt e lascia passare le richieste; altrimenti, non serve altro da parte tua.
Cosa non promette ancora WebReaderAPI?
Oggi non pubblichiamo un elenco di indirizzi IP, quindi identifica il bot dal suo user agent e dal suo comportamento con robots.txt, non dall'IP. Le pagine lette con l'opzione country partono da un indirizzo nel paese scelto, sempre con lo stesso user agent. Aggiungeremo a questa pagina i nostri intervalli di indirizzi una volta fissati, con la data della modifica.
Come segnalo un problema con il bot?
Scrivi a [email protected] con data e ora, il tuo dominio, l'URL letto e una riga del tuo log di accesso che mostri il nostro user agent. Una persona legge ogni segnalazione e la verifica con i nostri log. Se un cliente usa l'API in violazione della nostra Acceptable Use Policy, il suo account viene sospeso.
Per verificare se una richiesta proviene davvero da noi, confronta lo user agent e il comportamento con robots.txt con questa pagina. Un client che ignora le regole del tuo robots.txt usando il nostro nome non è il nostro bot.
Domande dei proprietari di siti
Il bot di WebReaderAPI è un crawler di motori di ricerca?
No. Non indicizza il web né classifica le pagine. Legge una pagina solo quando un cliente dell'API la richiede, con una singola richiesta, un batch o un crawl di un sito.
Bloccare il bot influirà sui miei ranking su Google o Bing?
No. Le regole scritte per WebReaderAPI riguardano solo il nostro bot. I crawler dei motori di ricerca seguono i propri gruppi nel tuo robots.txt.
Quanto tempo impiega una modifica a robots.txt per avere effetto?
Entro 24 ore al massimo. Il bot mette in cache robots.txt per un massimo di un giorno prima di rileggerlo.
Il bot rispetta Crawl-delay?
Sì, per i crawl job, che leggono molte pagine di un solo sito. Una singola lettura è una richiesta e non viene dilazionata.
Conservate o vendete il contenuto delle mie pagine?
No. Il testo della pagina va al cliente che l'ha richiesto e non viene conservato da noi. I nostri log contengono il nome host, l'ora, lo stato e i crediti usati, per 30 giorni.