Dlaczego agenci AI dostają błędy 403 przy pobieraniu stron internetowych

Co zmieniło się w sieci w 2025 i 2026 roku?

Duży dostawcy infrastruktury uczynili blokowanie AI ustawieniem domyślnym. Trzy zmiany z datami wyjaśniają większość nowych błędów 403:

• 1 lipca 2025: Cloudflare ogłosił, że domyślnie blokuje crawlery AI, pytając każdą nową domenę przy rejestracji, czy je dopuścić. Tego samego dnia uruchomił pay per crawl w prywatnej becie, który odpowiada HTTP 402 i ceną.
• 1 lipca 2026: Cloudflare wprowadził trzy kategorie ruchu AI: Search, Agent i Training. „Agent” wprost obejmuje pobieranie przez czaty, takie jak ChatGPT-User.
• 15 września 2026: dla nowych domen presety Cloudflare blokują ruch Training i Agent na stronach wyświetlających reklamy; Search pozostaje dozwolony.

Agent, który pobiera stronę dla użytkownika, należy do kategorii Agent. Na stronach utrzymywanych z reklam wdrożonych po wrześniu 2026 spodziewaj się odmów.

Jak odróżnić blokadę od błędu?

Przeczytaj kod statusu i treść, zanim cokolwiek zmienisz.

Tylko 429 i pusta strona JavaScript to problemy techniczne, które możesz rozwiązać po swojej stronie. Pozostałe to decyzje właściciela strony.

Co może legalnie zrobić twórca agenta?

Współpracuj ze stroną, nie omijaj jej. Te kroki naprawiają wiele błędów i utrzymują Twojego agenta po właściwej stronie właścicieli stron:

1. Korzystaj z własnego kanału strony. Wiele stron oferuje API, kanał RSS lub Atom albo sitemap z potrzebną treścią.
2. Poproś o dostęp. Właściciele stron mogą dopuścić nazwanego bota w robots.txt lub w ustawieniach CDN. Wyraźny User-Agent i strona kontaktowa to ułatwiają.
3. Renderuj strony, które są dozwolone, ale puste. Dla stron opartych wyłącznie na JavaScript użyj readera, który uruchamia przeglądarkę headless.
4. Zwolnij i cachuj. Przeczytaj tę samą stronę raz, zapisz ją i respektuj odpowiedzi Crawl-delay oraz 429.
5. Płać tam, gdzie strona sprzedaje dostęp. 402 to oferta; skorzystaj z niej przez kanał strony albo pomiń stronę.

Każdy z tych kroków pozostawia kontrolę właścicielowi strony, co także sprawia, że Twój agent pozostaje użyteczny na dłuższą metę.

Czego nigdy nie powinienem robić, by obejść odmowę?

Nigdy nie maskuj agenta ani nie obchodź zabezpieczeń. Podszywanie się pod User-Agent przeglądarki, rotowanie adresów IP, by uciec przed blokadą, lub rozwiązywanie stron wyzwań zamienia uprzejmego klienta w narzędzie zbudowane do obchodzenia kontroli dostępu. W 2026 roku dwa amerykańskie sądy uznały takie techniki za circumvention w pozwach dotyczących automatycznego dostępu do wyników wyszukiwania. Sprawy są nadal otwarte i nic nie jest rozstrzygnięte, ale ryzyko nie jest teoretyczne.

To łamie też zaufanie do stron, na których polegają Twoi użytkownicy. Odmowa to informacja: zapisz ją, powiedz użytkownikowi, że strona nie była dostępna, i przejdź do innego źródła.

Co robią wbudowane narzędzia fetch, gdy strona odmawia?

Większość zwraca błąd do modelu, który następnie informuje użytkownika, że nie mógł przeczytać strony. Dokumentacja OpenClaw, przeczytana 22 października 2026, mówi, że jego wbudowany web_fetch wyodrębnia treść za pomocą Readability, nie uruchamia JavaScript i ogranicza wyjście do 20 000 znaków; może przełączyć się na dostawcę fetch, a pluginy mogą rejestrować nowych. Referencyjny serwer fetch MCP domyślnie przestrzega robots.txt dla pobrań inicjowanych przez model.

Gdy te narzędzia zawodzą na stronach, które pozwalają robotom, ale wymagają JavaScript, pomaga reader, który renderuje strony. Gdy zawodzą, bo strona odmówiła, żadne narzędzie nie powinno zmieniać odpowiedzi.

Co zwraca WebReaderAPI, gdy strona odmawia?

Zwraca odmowę jasno, a opłata nie jest pobierana. Strona zabroniona przez robots.txt daje 403 blocked_by_robots. Strona deklarująca ai-input=no daje 403 blocked_by_site_policy. Strona, która odmawia zapytania w jakikolwiek inny sposób, daje 502 target_refused, z własnym kodem statusu strony w target_status.

Jeśli witryna odrzuci nasze zapytanie, zwracamy jej odpowiedź: nigdy nie rozwiązujemy CAPTCHA, nie logujemy się do kont ani nie próbujemy obejść blokady lub paywalla. Twój agent może pokazać użytkownikowi dokładnie, dlaczego stronę pominięto. Strona błędów wymienia każdy kod z regułą ponawiania dla każdego.