Perché gli AI agent ricevono errori 403 quando recuperano pagine web

Cosa è cambiato sul web nel 2025 e nel 2026?

I grandi fornitori di infrastruttura hanno reso il blocco degli AI un'impostazione predefinita. Tre cambiamenti con data spiegano la maggior parte dei nuovi 403:

• 1 luglio 2025: Cloudflare ha dichiarato di bloccare ora gli AI crawler per impostazione predefinita, chiedendo a ogni nuovo dominio all'iscrizione se consentirli. Lo stesso giorno ha lanciato pay per crawl in beta privata, che risponde con HTTP 402 e un prezzo.
• 1 luglio 2026: Cloudflare ha introdotto tre categorie di traffico AI, Search, Agent e Training. "Agent" include esplicitamente i fetcher delle chat come ChatGPT-User.
• 15 settembre 2026: per i nuovi domini, i preset di Cloudflare bloccano il traffico Training e Agent sulle pagine che mostrano annunci; Search resta consentito.

Un agent che recupera una pagina per un utente rientra nella categoria Agent. Sui siti supportati dalla pubblicità attivati dopo settembre 2026, aspettati dei rifiuti.

Come distinguo un blocco da un bug?

Leggi il codice di stato e il corpo prima di cambiare qualsiasi cosa.

Solo il 429 e la pagina JavaScript vuota sono problemi tecnici che puoi risolvere dalla tua parte. Gli altri sono decisioni prese dal proprietario del sito.

Cosa può fare legittimamente chi costruisce un agent?

Collabora con il sito, non aggirarlo. Questi passi risolvono molti fallimenti e mantengono il tuo agent dalla parte giusta nei confronti dei proprietari dei siti:

1. Usa il canale del sito stesso. Molti siti offrono un'API, un feed RSS o Atom, o una sitemap con il contenuto che ti serve.
2. Chiedi l'accesso. I proprietari dei siti possono consentire un bot con un nome in robots.txt o nelle impostazioni del loro CDN. Uno User-Agent chiaro e una pagina di contatto lo rendono facile.
3. Renderizza le pagine consentite ma vuote. Per le pagine solo JavaScript, usa un reader che esegue un browser headless.
4. Rallenta e usa la cache. Leggi la stessa pagina una volta, salvala e rispetta le risposte Crawl-delay e 429.
5. Paga dove il sito vende l'accesso. Un 402 è un'offerta; accettala tramite il canale del sito o lascia fuori la pagina.

Ognuno di questi passi lascia il controllo al proprietario del sito, ed è anche ciò che mantiene utile il tuo agent nel tempo.

Cosa non devo mai fare per superare un rifiuto?

Non mascherare mai l'agent e non aggirare mai una protezione. Falsificare lo User-Agent di un browser, ruotare gli indirizzi IP per sfuggire a un blocco o risolvere le pagine challenge trasforma un client educato in uno strumento costruito per aggirare i controlli di accesso. Nel 2026, due tribunali statunitensi hanno considerato tali tecniche come circonvenzione in cause legali sull'accesso automatizzato ai risultati di ricerca. I casi sono ancora aperti e nulla è deciso, ma il rischio non è teorico.

Rompe anche la fiducia con i siti da cui dipendono i tuoi utenti. Un rifiuto è un'informazione: registralo, dì all'utente che la pagina non era disponibile e passa a un'altra fonte.

Cosa fanno gli strumenti di fetch integrati quando un sito rifiuta?

La maggior parte restituisce l'errore al modello, che poi dice all'utente che non ha potuto leggere la pagina. La documentazione di OpenClaw, letta il 22 ottobre 2026, dice che il suo web_fetch integrato estrae il contenuto con Readability, non esegue JavaScript e limita l'output a 20.000 caratteri; può ripiegare su un provider di fetch, e i plugin possono registrarne di nuovi. Il server fetch di riferimento MCP rispetta robots.txt per i fetch avviati dal modello per impostazione predefinita.

Quando questi strumenti falliscono su pagine che consentono i robot ma richiedono JavaScript, un reader che renderizza le pagine aiuta. Quando falliscono perché il sito ha rifiutato, nessuno strumento dovrebbe cambiare la risposta.

Cosa restituisce WebReaderAPI quando un sito rifiuta?

Restituisce il rifiuto in modo chiaro, e non ti viene addebitato nulla. Una pagina vietata da robots.txt dà 403 blocked_by_robots. Un sito che dichiara ai-input=no dà 403 blocked_by_site_policy. Un sito che rifiuta la richiesta in qualsiasi altro modo dà 502 target_refused, con il codice di stato del sito in target_status.

Se un sito rifiuta la nostra richiesta, restituiamo la sua risposta: non risolviamo mai CAPTCHA, non accediamo agli account e non tentiamo di aggirare un blocco o un paywall. Il tuo agent può mostrare all'utente esattamente perché una pagina è stata saltata. La pagina degli errori elenca ogni codice con la regola di retry per ciascuno.