# robots.txt per agenti AI e fetcher: cosa si applica nel 2026 > robots.txt per agenti AI nel 2026: crawler e fetcher attivati dall'utente, cosa dicono OpenAI, Anthropic, Google e Perplexity, Content Signals, aipref e RSL. - URL: https://webreaderapi.com/it/guides/robots-txt-for-ai-agents/ - Ultimo aggiornamento: 2026-10-22 - Editore: WebReaderAPI (https://webreaderapi.com) robots.txt è stato scritto per i crawler, poi sono arrivati gli agenti AI che scaricano una pagina perché una persona lo ha chiesto. Ora i fornitori tracciano quella linea in modo diverso. Questa guida espone lo standard, la policy dichiarata da ciascun fornitore, i segnali più recenti e come si comporta il nostro crawler. **Risposta rapida — Gli agenti AI devono rispettare robots.txt?** Dipende dal fornitore. robots.txt è uno standard volontario (RFC 9309, settembre 2022). I crawler che costruiscono indici in genere lo rispettano; per i download attivati da un utente, OpenAI dice che le sue regole potrebbero non applicarsi, Google e Perplexity dicono che i loro fetcher in genere le ignorano, e Anthropic dice che i suoi bot le rispettano. **WebReaderAPI** rispetta robots.txt a ogni lettura, senza KYC e con pagamento in criptovalute. ## robots.txt e AI a ottobre 2026 | Attributo | Valore | | --- | --- | | Standard | RFC 9309, Robots Exclusion Protocol, settembre 2022 | | OpenAI ChatGPT-User | le regole di robots.txt "potrebbero non applicarsi" alle azioni avviate dall'utente | | Anthropic (incl. Claude-User) | Dichiara che i suoi bot rispettano le direttive di robots.txt, incluso Crawl-delay | | Fetcher attivati dall'utente di Google | "Generalmente ignorano le regole di robots.txt" (pagina aggiornata il 2026-08-19) | | Perplexity-User | "Generalmente ignora le regole di robots.txt" | | Content Signals | Politica di Cloudflare del 24 settembre 2025: `search`, `ai-input`, `ai-train` | | Preferenze AI dell'IETF | Bozze di gruppo di lavoro, non ancora un RFC | | WebReaderAPI | Rispetta robots.txt e `ai-input=no` a ogni lettura; token `WebReaderAPI` | ## Cosa fa davvero robots.txt? Indica ai client automatizzati quali percorsi un sito preferisce che evitino. Il file si trova nella radice di un host, raggruppa le regole per token user-agent e usa le righe `Allow` e `Disallow`. La RFC 9309, pubblicata a settembre 2022, ha reso standard una convenzione di lunga data. La RFC è esplicita sul fatto che il file non blocca nulla: "Queste regole non sono una forma di autorizzazione all'accesso." L'adesione è volontaria. Ecco perché conta la politica dichiarata di ogni fornitore, e perché i siti che vogliono limiti rigidi usano anche firewall e gestione dei bot. ## Perché i crawler e i fetcher attivati dall'utente sono diversi? Un crawler decide da solo quali pagine visitare; un fetcher attivato dall'utente visita una pagina perché una persona lo ha chiesto. Molti fornitori trattano il secondo caso come un browser che agisce per il suo utente e affermano che robots.txt non si applica del tutto. | Fetcher | Politica dichiarata (letta il 2026-10-22) | |---|---| | OpenAI ChatGPT-User | le regole di robots.txt "potrebbero non applicarsi" alle azioni avviate dall'utente; per l'opt-out dalla ricerca i siti sono rimandati a OAI-SearchBot | | Anthropic Claude-User | Anthropic afferma che i suoi bot rispettano le direttive di robots.txt; bloccare Claude-User interrompe il recupero per le query degli utenti | | Fetcher attivati dall'utente di Google | "Generalmente ignorano le regole di robots.txt" perché è l'utente a richiedere il recupero | | Perplexity-User | "Generalmente ignora le regole di robots.txt" per lo stesso motivo | | MCP reference fetch server | Obbedisce a robots.txt per i recuperi avviati dal modello per impostazione predefinita, non per quelli avviati dall'utente | La distinzione è reale e documentata. Se sviluppi un agente, decidi da che parte stare e dichiaralo nel tuo user agent e nella documentazione. ## Cosa sono Content Signals, aipref e RSL? Sono modi più recenti per dire cosa i sistemi AI possono fare con i contenuti, non solo se un robot può recuperarli. - **Content Signals.** Cloudflare ha pubblicato questa politica il 24 settembre 2025. Un robots.txt può dichiarare `search`, `ai-input` (uso come input per una risposta AI, ad esempio il grounding) e `ai-train`. Il robots.txt gestito di Cloudflare serve `search=yes, ai-train=no` per impostazione predefinita. - **Preferenze AI dell'IETF (aipref).** Le bozze di vocabolario e di allegato del gruppo di lavoro erano ancora Internet-Draft a ottobre 2026, destinate a diventare Proposed Standard. - **Web Bot Auth.** Un modo per i bot di firmare le proprie richieste; il gruppo di lavoro IETF ha adottato la bozza del suo protocollo il 1° settembre 2026. - **RSL (Really Simple Licensing).** Il suo sito indica che la specifica RSL 1.0 è disponibile; permette agli editori di dichiarare i termini di licenza, incluso il pay-per-crawl, tramite robots.txt, header o RSS. ## llms.txt è la stessa cosa di robots.txt? No. robots.txt dice cosa non recuperare; llms.txt è un file proposto che elenca le pagine chiave di un sito per i modelli linguistici. L'adozione cresce ma l'uso misurato è basso. Rankability ha rilevato llms.txt sul 9,3% dei 1.000 siti principali il 18 settembre 2026. Uno studio di Ahrefs su 137.000 domini, riportato da PPC Land il 2 luglio 2026, ha rilevato che il 97% dei file llms.txt non ha ricevuto alcuna richiesta. La nostra [guida a llms.txt](https://webreaderapi.com/it/guides/llms-txt-generator/) mostra come crearne uno da un crawling del tuo sito, se ne vuoi comunque uno. ## Come tratta robots.txt WebReaderAPI? Lo rispetta a ogni lettura, comprese le letture attivate da un cliente. Rispettiamo robots.txt: il nostro crawler si identifica come WebReaderAPI, segue le regole scritte per lui o per tutti i robot e non legge una pagina che un sito vieta. Le pagine rifiutate non vengono addebitate. Se un sito dichiara Content-Signal: ai-input=no nel suo robots.txt, non leggiamo le sue pagine per te. Per i job di crawling, attende anche il `Crawl-delay` impostato da un sito. Ogni richiesta porta lo stesso User-Agent, `WebReaderAPI/1.0 (+https://webreaderapi.com/bot/)`, così i proprietari dei siti possono vederci nei loro log e scrivere regole per noi. La nostra [pagina del crawler](https://webreaderapi.com/it/bot/) fornisce i dettagli e un contatto per i problemi. *Esempi di robots.txt per WebReaderAPI* ```text # Block WebReaderAPI from the whole site User-agent: WebReaderAPI Disallow: / # Or: allow it, but keep it out of one folder and slow it down User-agent: WebReaderAPI Disallow: /account/ Crawl-delay: 5 # Or: allow reading for search, but not as AI input (Content Signals) User-agent: * Content-Signal: search=yes, ai-input=no Allow: / ``` ## robots.txt per l'AI: domande comuni ### Bloccare GPTBot impedisce a ChatGPT di leggere la mia pagina per un utente? Non necessariamente. OpenAI documenta token separati: GPTBot per l'addestramento, OAI-SearchBot per la ricerca e ChatGPT-User per le azioni dell'utente, e afferma che le regole di robots.txt potrebbero non applicarsi alle azioni avviate dall'utente. Controlla la documentazione aggiornata di ogni fornitore. ### robots.txt è legalmente vincolante? Non di per sé; la RFC 9309 afferma che non è un'autorizzazione all'accesso. Nell'UE, gli opt-out leggibili da macchina contano per il text and data mining ai sensi della Direttiva DSM. Vedi la nostra [panoramica legale](https://webreaderapi.com/it/guides/is-reading-web-pages-for-ai-legal/); non è consulenza legale. ### Come blocco WebReaderAPI? Aggiungi al tuo robots.txt un gruppo `User-agent: WebReaderAPI` con `Disallow: /`. Le nostre letture lo controllano prima di ogni pagina; le pagine non consentite non vengono mai lette. ### WebReaderAPI legge le pagine che dichiarano ai-input=no? No. Se un sito dichiara Content-Signal: ai-input=no nel suo robots.txt, non leggiamo le sue pagine per te. L'API restituisce `403 blocked_by_site_policy` al cliente, senza addebito. ## Fonti 1. [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309.html) — RFC Editor (September 2022) 2. [Panoramica dei crawler di OpenAI](https://developers.openai.com/api/docs/bots) — OpenAI (read 2026-10-22) 3. [Anthropic estrae dati dal web e come possono i proprietari dei siti bloccare il crawler?](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) — Anthropic (2026-04-07) 4. [Fetcher attivati dall'utente di Google](https://developers.google.com/crawling/docs/crawlers-fetchers/google-user-triggered-fetchers) — Google (updated 2026-08-19) 5. [Crawler di Perplexity](https://docs.perplexity.ai/guides/bots) — Perplexity (read 2026-10-22) 6. [MCP fetch server](https://github.com/modelcontextprotocol/servers/tree/main/src/fetch) — Model Context Protocol (read 2026-10-22) 7. [Content Signals Policy](https://blog.cloudflare.com/content-signals-policy/) — Cloudflare (2025-09-24) 8. [Documenti del gruppo di lavoro AI Preferences](https://datatracker.ietf.org/wg/aipref/documents/) — IETF (read 2026-10-22) 9. [Documenti del gruppo di lavoro Web Bot Auth](https://datatracker.ietf.org/wg/webbotauth/documents/) — IETF (read 2026-10-22) 10. [Really Simple Licensing](https://rslstandard.org/) — rslstandard.org (read 2026-10-22) 11. [Dati di adozione di llms.txt](https://www.rankability.com/data/llms-txt-adoption/) — Rankability (2026-09-18) 12. [L'adozione di llms.txt cresce di 8,8 volte ma il 97% dei file riceve zero richieste AI](https://ppc.land/llms-txt-adoption-rises-8-8x-but-97-of-files-get-zero-ai-requests/) — PPC Land (2026-07-02) --- WebReaderAPI: WebReaderAPI è un'API web reader per agenti AI che converte qualsiasi pagina web pubblica in Markdown pulito, con pagamento in criptovalute e senza caricare documenti d'identità. I crediti prepagati da 0,07 USD/1K pagine non scadono mai e robots.txt viene rispettato. Senza KYC — niente documento, niente selfie, niente documenti. Paga in criptovalute.