Risposta rapida
Gli agenti AI devono rispettare robots.txt?
Dipende dal fornitore. robots.txt è uno standard volontario (RFC 9309, settembre 2022). I crawler che costruiscono indici in genere lo rispettano; per i download attivati da un utente, OpenAI dice che le sue regole potrebbero non applicarsi, Google e Perplexity dicono che i loro fetcher in genere le ignorano, e Anthropic dice che i suoi bot le rispettano. WebReaderAPI rispetta robots.txt a ogni lettura, senza KYC e con pagamento in criptovalute.
robots.txt e AI a ottobre 2026
| Standard | RFC 9309, Robots Exclusion Protocol, settembre 2022 |
|---|---|
| OpenAI ChatGPT-User | le regole di robots.txt "potrebbero non applicarsi" alle azioni avviate dall'utente |
| Anthropic (incl. Claude-User) | Dichiara che i suoi bot rispettano le direttive di robots.txt, incluso Crawl-delay |
| Fetcher attivati dall'utente di Google | "Generalmente ignorano le regole di robots.txt" (pagina aggiornata il 2026-08-19) |
| Perplexity-User | "Generalmente ignora le regole di robots.txt" |
| Content Signals | Politica di Cloudflare del 24 settembre 2025: search, ai-input, ai-train |
| Preferenze AI dell'IETF | Bozze di gruppo di lavoro, non ancora un RFC |
| WebReaderAPI | Rispetta robots.txt e ai-input=no a ogni lettura; token WebReaderAPI |
Cosa fa davvero robots.txt?
Indica ai client automatizzati quali percorsi un sito preferisce che evitino. Il file si trova nella radice di un host, raggruppa le regole per token user-agent e usa le righe Allow e Disallow. La RFC 9309, pubblicata a settembre 2022, ha reso standard una convenzione di lunga data.
La RFC è esplicita sul fatto che il file non blocca nulla: "Queste regole non sono una forma di autorizzazione all'accesso." L'adesione è volontaria. Ecco perché conta la politica dichiarata di ogni fornitore, e perché i siti che vogliono limiti rigidi usano anche firewall e gestione dei bot.
Perché i crawler e i fetcher attivati dall'utente sono diversi?
Un crawler decide da solo quali pagine visitare; un fetcher attivato dall'utente visita una pagina perché una persona lo ha chiesto. Molti fornitori trattano il secondo caso come un browser che agisce per il suo utente e affermano che robots.txt non si applica del tutto.
| Fetcher | Politica dichiarata (letta il 2026-10-22) |
|---|---|
| OpenAI ChatGPT-User | le regole di robots.txt "potrebbero non applicarsi" alle azioni avviate dall'utente; per l'opt-out dalla ricerca i siti sono rimandati a OAI-SearchBot |
| Anthropic Claude-User | Anthropic afferma che i suoi bot rispettano le direttive di robots.txt; bloccare Claude-User interrompe il recupero per le query degli utenti |
| Fetcher attivati dall'utente di Google | "Generalmente ignorano le regole di robots.txt" perché è l'utente a richiedere il recupero |
| Perplexity-User | "Generalmente ignora le regole di robots.txt" per lo stesso motivo |
| MCP reference fetch server | Obbedisce a robots.txt per i recuperi avviati dal modello per impostazione predefinita, non per quelli avviati dall'utente |
La distinzione è reale e documentata. Se sviluppi un agente, decidi da che parte stare e dichiaralo nel tuo user agent e nella documentazione.
Cosa sono Content Signals, aipref e RSL?
Sono modi più recenti per dire cosa i sistemi AI possono fare con i contenuti, non solo se un robot può recuperarli.
- Content Signals. Cloudflare ha pubblicato questa politica il 24 settembre 2025. Un robots.txt può dichiarare
search,ai-input(uso come input per una risposta AI, ad esempio il grounding) eai-train. Il robots.txt gestito di Cloudflare servesearch=yes, ai-train=noper impostazione predefinita. - Preferenze AI dell'IETF (aipref). Le bozze di vocabolario e di allegato del gruppo di lavoro erano ancora Internet-Draft a ottobre 2026, destinate a diventare Proposed Standard.
- Web Bot Auth. Un modo per i bot di firmare le proprie richieste; il gruppo di lavoro IETF ha adottato la bozza del suo protocollo il 1° settembre 2026.
- RSL (Really Simple Licensing). Il suo sito indica che la specifica RSL 1.0 è disponibile; permette agli editori di dichiarare i termini di licenza, incluso il pay-per-crawl, tramite robots.txt, header o RSS.
llms.txt è la stessa cosa di robots.txt?
No. robots.txt dice cosa non recuperare; llms.txt è un file proposto che elenca le pagine chiave di un sito per i modelli linguistici. L'adozione cresce ma l'uso misurato è basso. Rankability ha rilevato llms.txt sul 9,3% dei 1.000 siti principali il 18 settembre 2026. Uno studio di Ahrefs su 137.000 domini, riportato da PPC Land il 2 luglio 2026, ha rilevato che il 97% dei file llms.txt non ha ricevuto alcuna richiesta.
La nostra guida a llms.txt mostra come crearne uno da un crawling del tuo sito, se ne vuoi comunque uno.
Come tratta robots.txt WebReaderAPI?
Lo rispetta a ogni lettura, comprese le letture attivate da un cliente. Rispettiamo robots.txt: il nostro crawler si identifica come WebReaderAPI, segue le regole scritte per lui o per tutti i robot e non legge una pagina che un sito vieta. Le pagine rifiutate non vengono addebitate. Se un sito dichiara Content-Signal: ai-input=no nel suo robots.txt, non leggiamo le sue pagine per te. Per i job di crawling, attende anche il Crawl-delay impostato da un sito.
Ogni richiesta porta lo stesso User-Agent, WebReaderAPI/1.0 (+https://webreaderapi.com/bot/), così i proprietari dei siti possono vederci nei loro log e scrivere regole per noi. La nostra pagina del crawler fornisce i dettagli e un contatto per i problemi.
# Block WebReaderAPI from the whole site
User-agent: WebReaderAPI
Disallow: /
# Or: allow it, but keep it out of one folder and slow it down
User-agent: WebReaderAPI
Disallow: /account/
Crawl-delay: 5
# Or: allow reading for search, but not as AI input (Content Signals)
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
robots.txt per l'AI: domande comuni
Bloccare GPTBot impedisce a ChatGPT di leggere la mia pagina per un utente?
Non necessariamente. OpenAI documenta token separati: GPTBot per l'addestramento, OAI-SearchBot per la ricerca e ChatGPT-User per le azioni dell'utente, e afferma che le regole di robots.txt potrebbero non applicarsi alle azioni avviate dall'utente. Controlla la documentazione aggiornata di ogni fornitore.
robots.txt è legalmente vincolante?
Non di per sé; la RFC 9309 afferma che non è un'autorizzazione all'accesso. Nell'UE, gli opt-out leggibili da macchina contano per il text and data mining ai sensi della Direttiva DSM. Vedi la nostra panoramica legale; non è consulenza legale.
Come blocco WebReaderAPI?
Aggiungi al tuo robots.txt un gruppo User-agent: WebReaderAPI con Disallow: /. Le nostre letture lo controllano prima di ogni pagina; le pagine non consentite non vengono mai lette.
WebReaderAPI legge le pagine che dichiarano ai-input=no?
No. Se un sito dichiara Content-Signal: ai-input=no nel suo robots.txt, non leggiamo le sue pagine per te. L'API restituisce 403 blocked_by_site_policy al cliente, senza addebito.
Fonti (12)
- RFC 9309: Robots Exclusion Protocol — RFC Editor (September 2022)
- Panoramica dei crawler di OpenAI — OpenAI (read 2026-10-22)
- Anthropic estrae dati dal web e come possono i proprietari dei siti bloccare il crawler? — Anthropic (2026-04-07)
- Fetcher attivati dall'utente di Google — Google (updated 2026-08-19)
- Crawler di Perplexity — Perplexity (read 2026-10-22)
- MCP fetch server — Model Context Protocol (read 2026-10-22)
- Content Signals Policy — Cloudflare (2025-09-24)
- Documenti del gruppo di lavoro AI Preferences — IETF (read 2026-10-22)
- Documenti del gruppo di lavoro Web Bot Auth — IETF (read 2026-10-22)
- Really Simple Licensing — rslstandard.org (read 2026-10-22)
- Dati di adozione di llms.txt — Rankability (2026-09-18)
- L'adozione di llms.txt cresce di 8,8 volte ma il 97% dei file riceve zero richieste AI — PPC Land (2026-07-02)