# Bot di WebReaderAPI: user agent, robots.txt e come bloccarlo

> Il bot di WebReaderAPI: user agent, token in robots.txt, come bloccarlo o rallentarlo e cosa non fa mai. Per proprietari di siti e strumenti AI.

- URL: https://webreaderapi.com/it/bot/
- Ultimo aggiornamento: 2026-10-22
- Editore: WebReaderAPI (https://webreaderapi.com)

Se hai visto il nostro nome nei log del tuo server, questa pagina spiega chi siamo, perché abbiamo letto la tua pagina e come dirci di non farlo. Ogni regola qui elencata è un impegno su cui è costruito il servizio.

**Risposta rapida — Che cos'è il bot di WebReaderAPI e come posso bloccarlo?**

Il bot **WebReaderAPI** legge pagine pubbliche quando un nostro cliente chiede all'API di leggerle. Invia lo user agent `WebReaderAPI/1.0 (+https://webreaderapi.com/bot/)` e rispetta le regole di robots.txt scritte per il token `WebReaderAPI` o per tutti i robot. Per bloccarlo ovunque, aggiungi al tuo robots.txt `User-agent: WebReaderAPI` seguito da `Disallow: /`.

## Il bot in breve

| Attributo | Valore |
| --- | --- |
| Header User-Agent | `WebReaderAPI/1.0 (+https://webreaderapi.com/bot/)` |
| Token in robots.txt | `WebReaderAPI` |
| robots.txt | Rispettiamo robots.txt: il nostro crawler si identifica come WebReaderAPI, segue le regole scritte per lui o per tutti i robot e non legge una pagina che un sito vieta. Le pagine rifiutate non vengono addebitate |
| Segnali di preferenza per l'AI | Se un sito dichiara Content-Signal: ai-input=no nel suo robots.txt, non leggiamo le sue pagine per te |
| Quando un sito dice no | Se un sito rifiuta la nostra richiesta, restituiamo la sua risposta: non risolviamo mai CAPTCHA, non accediamo agli account e non tentiamo di aggirare un blocco o un paywall |
| Copie delle tue pagine | Nessuna conservata dopo l'invio della risposta al cliente |
| Job di crawling | Crawling di un sito web per job, fino a 10.000 pagine, seguendo la sua sitemap, il suo robots.txt e il suo Crawl-delay |
| Contatti | abuse@webreaderapi.com |

## Perché WebReaderAPI ha letto la mia pagina?

Perché un cliente dell'API l'ha richiesto. WebReaderAPI non costruisce un proprio indice del web e non naviga di propria iniziativa. Ogni lettura appartiene a uno di tre tipi di richiesta:

- **Una singola lettura:** un'applicazione o un agente AI ha inviato il tuo URL a `/read`, di solito perché una persona ha fatto una domanda a cui la tua pagina risponde.
- **Un job batch:** un cliente ha inviato un elenco di massimo 100 URL e il tuo era tra questi.
- **Un job di crawling:** un cliente ci ha chiesto di leggere un intero sito, partendo da un indirizzo e restando su quel dominio. I crawl seguono la tua sitemap e il tuo robots.txt.

Il cliente riceve il testo principale della pagina in Markdown. Dopo non ne conserviamo alcuna copia.

## Come blocco il bot su tutto il mio sito?

Aggiungi un gruppo per il nostro token al tuo file robots.txt. Il bot legge `/robots.txt` prima di leggere una pagina e lo mette in cache per un massimo di 24 ore, quindi una modifica si applica entro un giorno al massimo.

*robots.txt: rifiuta ogni pagina a WebReaderAPI*

```text
User-agent: WebReaderAPI
Disallow: /

```

## Posso bloccare solo una parte del mio sito o rallentare il bot?

Sì. Elenca le cartelle da escludere sotto `Disallow` e imposta un `Crawl-delay` in secondi per i job di crawling. Le regole scritte per tutti i robot (`User-agent: *`) valgono anche per noi quando non hai un gruppo per il nostro token. Quando invece ce l'hai, vince quel gruppo, come descrive la RFC 9309.

*robots.txt: escludi due cartelle e distanzia le richieste di crawling*

```text
User-agent: WebReaderAPI
Disallow: /account/
Disallow: /drafts/
Crawl-delay: 5

```

## Il bot rispetta i segnali di preferenza per l'AI?

Sì, quelli che un sito dichiara in robots.txt. Se il tuo file dichiara `Content-Signal: ai-input=no`, lo trattiamo come un rifiuto a usare le tue pagine come input per risposte AI e non le leggiamo per i nostri clienti. L'API restituisce allora al cliente l'errore `blocked_by_site_policy`, che non viene addebitato.

*robots.txt: consenti i motori di ricerca, rifiuta l'input per l'AI*

```text
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /

```

## Cosa fa il bot quando il mio sito lo rifiuta?

Si ferma e riporta la tua risposta. Uno stato 403 o 429, una pagina di challenge, un form di login o un paywall mettono fine alla richiesta. Il cliente riceve l'errore `target_refused` con il tuo codice di stato e non viene addebitato.

Il bot non risolve mai challenge, non effettua mai il login, non cambia mai il suo user agent per sembrare un browser e non riprova mai in incognito. Se vuoi che leggiamo le tue pagine, consenti il token in robots.txt e lascia passare le richieste; altrimenti, non serve altro da parte tua.

## Cosa non promette ancora WebReaderAPI?

Oggi non pubblichiamo un elenco di indirizzi IP, quindi identifica il bot dal suo user agent e dal suo comportamento con robots.txt, non dall'IP. Le pagine lette con l'opzione `country` partono da un indirizzo nel paese scelto, sempre con lo stesso user agent. Aggiungeremo a questa pagina i nostri intervalli di indirizzi una volta fissati, con la data della modifica.

## Come segnalo un problema con il bot?

Scrivi a abuse@webreaderapi.com con data e ora, il tuo dominio, l'URL letto e una riga del tuo log di accesso che mostri il nostro user agent. Una persona legge ogni segnalazione e la verifica con i nostri log. Se un cliente usa l'API in violazione della nostra [Acceptable Use Policy](https://webreaderapi.com/it/acceptable-use/), il suo account viene sospeso.

Per verificare se una richiesta proviene davvero da noi, confronta lo user agent e il comportamento con robots.txt con questa pagina. Un client che ignora le regole del tuo robots.txt usando il nostro nome non è il nostro bot.

## Domande dei proprietari di siti

### Il bot di WebReaderAPI è un crawler di motori di ricerca?

No. Non indicizza il web né classifica le pagine. Legge una pagina solo quando un cliente dell'API la richiede, con una singola richiesta, un batch o un crawl di un sito.

### Bloccare il bot influirà sui miei ranking su Google o Bing?

No. Le regole scritte per `WebReaderAPI` riguardano solo il nostro bot. I crawler dei motori di ricerca seguono i propri gruppi nel tuo robots.txt.

### Quanto tempo impiega una modifica a robots.txt per avere effetto?

Entro 24 ore al massimo. Il bot mette in cache robots.txt per un massimo di un giorno prima di rileggerlo.

### Il bot rispetta Crawl-delay?

Sì, per i crawl job, che leggono molte pagine di un solo sito. Una singola lettura è una richiesta e non viene dilazionata.

### Conservate o vendete il contenuto delle mie pagine?

No. Il testo della pagina va al cliente che l'ha richiesto e non viene conservato da noi. I nostri log contengono il nome host, l'ora, lo stato e i crediti usati, per 30 giorni.

---

WebReaderAPI: WebReaderAPI è un'API web reader per agenti AI che converte qualsiasi pagina web pubblica in Markdown pulito, con pagamento in criptovalute e senza caricare documenti d'identità. I crediti prepagati da 0,07 USD/1K pagine non scadono mai e robots.txt viene rispettato. Senza KYC — niente documento, niente selfie, niente documenti. Paga in criptovalute.