# robots.txt dla agentów AI i fetcherów: co obowiązuje w 2026

> robots.txt dla agentów AI w 2026: crawlers vs fetchery użytkownika, stanowiska OpenAI, Anthropic, Google i Perplexity, Content Signals, aipref i RSL.

- URL: https://webreaderapi.com/pl/guides/robots-txt-for-ai-agents/
- Ostatnia aktualizacja: 2026-10-22
- Wydawca: WebReaderAPI (https://webreaderapi.com)

robots.txt powstał dla crawlerów, potem pojawili się agenci AI, którzy pobierają stronę, bo poprosiła o to osoba. Dostawcy wyznaczają teraz tę granicę różnie. Ten przewodnik przedstawia standard, politykę deklarowaną przez każdego dostawcę, nowsze sygnały i sposób działania naszego własnego crawlera.

**Szybka odpowiedź — Czy agenci AI muszą przestrzegać robots.txt?**

To zależy od dostawcy. robots.txt to dobrowolny standard (RFC 9309, wrzesień 2022). Crawlery budujące indeksy generalnie go przestrzegają; w przypadku pobrań uruchamianych przez użytkownika OpenAI mówi, że jego zasady mogą nie mieć zastosowania, Google i Perplexity mówią, że ich fetchery generalnie je ignorują, a Anthropic mówi, że jego boty je honorują. **WebReaderAPI** przestrzega robots.txt przy każdym odczycie, bez KYC i z płatnością kryptowalutą.

## robots.txt i AI w październiku 2026

| Atrybut | Wartość |
| --- | --- |
| Standard | RFC 9309, Robots Exclusion Protocol, wrzesień 2022 |
| OpenAI ChatGPT-User | zasady robots.txt „mogą nie mieć zastosowania” do działań uruchamianych przez użytkownika |
| Anthropic (w tym Claude-User) | Twierdzi, że jego boty respektują dyrektywy robots.txt, w tym Crawl-delay |
| Pobierające wywoływane przez użytkownika Google | „Zazwyczaj ignoruje reguły robots.txt” (strona zaktualizowana 2026-08-19) |
| Perplexity-User | „Zazwyczaj ignoruje reguły robots.txt” |
| Content Signals | Polityka Cloudflare z 24 września 2025: `search`, `ai-input`, `ai-train` |
| Preferencje AI IETF | Projekty grup roboczych, jeszcze nie RFC |
| WebReaderAPI | Przestrzega robots.txt i `ai-input=no` przy każdym odczycie; token `WebReaderAPI` |

## Co właściwie robi robots.txt?

Mówi zautomatyzowanym klientom, które ścieżki witryna wolałaby pominąć. Plik znajduje się w katalogu głównym hosta, grupuje reguły według tokena user-agent i używa wierszy `Allow` i `Disallow`. RFC 9309, opublikowany we wrześniu 2022, uczynił z tej wieloletniej konwencji standard.

RFC jasno stwierdza, że plik niczego nie blokuje: „Te reguły nie są formą autoryzacji dostępu”. Przestrzeganie jest dobrowolne. Dlatego znaczenie ma deklarowana polityka każdego dostawcy i dlatego witryny, które chcą twardych ograniczeń, stosują także zapory ogniowe i zarządzanie botami.

## Dlaczego crawlers i pobierające wywoływane przez użytkownika się różnią?

Crawler sam decyduje, które strony odwiedzić; pobierające wywoływany przez użytkownika odwiedza jedną stronę, bo poprosiła o to osoba. Wielu dostawców traktuje drugi przypadek jak przeglądarkę działającą w imieniu swojego użytkownika i twierdzi, że robots.txt nie ma tu pełnego zastosowania.

| Pobierające | Deklarowana polityka (odczyt 2026-10-22) |
|---|---|
| OpenAI ChatGPT-User | reguły robots.txt „mogą nie mieć zastosowania” do działań zainicjowanych przez użytkownika; witryny są kierowane do OAI-SearchBot w sprawie rezygnacji z wyszukiwania |
| Anthropic Claude-User | Anthropic twierdzi, że jego boty respektują dyrektywy robots.txt; zablokowanie Claude-User zatrzymuje pobieranie dla zapytań użytkowników |
| Pobierające wywoływane przez użytkownika Google | „Zazwyczaj ignoruje reguły robots.txt”, ponieważ to użytkownik zażądał pobrania |
| Perplexity-User | „Zazwyczaj ignoruje reguły robots.txt” z tego samego powodu |
| Serwer pobierania referencyjnego MCP | Domyślnie przestrzega robots.txt dla pobrań zainicjowanych przez model, nie dla tych zainicjowanych przez użytkownika |

Ten podział jest realny i udokumentowany. Jeśli budujesz agenta, zdecyduj, po której jesteś stronie, i powiedz to w swoim user agent i dokumentacji.

## Czym są Content Signals, aipref i RSL?

To nowsze sposoby określania, co systemy AI mogą robić z treścią, a nie tylko tego, czy robot może ją pobrać.

- **Content Signals.** Cloudflare opublikował tę politykę 24 września 2025. robots.txt może określać `search`, `ai-input` (użycie jako dane wejściowe do odpowiedzi AI, np. do ugruntowania) oraz `ai-train`. Zarządzany robots.txt Cloudflare domyślnie serwuje `search=yes, ai-train=no`.
- **Preferencje AI IETF (aipref).** Projekty słownika i załącznika grupy roboczej były w październiku 2026 wciąż Internet-Draftami, przeznaczonymi na Proposed Standards.
- **Web Bot Auth.** Sposób, w jaki boty mogą podpisywać swoje zapytania; grupa robocza IETF przyjęła projekt protokołu 1 września 2026.
- **RSL (Really Simple Licensing).** Jego strona podaje, że specyfikacja RSL 1.0 jest dostępna; pozwala wydawcom określać warunki licencji, w tym pay-per-crawl, przez robots.txt, nagłówki lub RSS.

## Czy llms.txt to to samo co robots.txt?

Nie. robots.txt mówi, czego nie pobierać; llms.txt to proponowany plik, który wymienia kluczowe strony witryny dla modeli językowych. Przyjęcie rośnie, ale zmierzone użycie jest niskie. Rankability odnotował llms.txt na 9,3% z 1 000 najlepszych witryn 18 września 2026. Badanie Ahrefs na 137 000 domen, opisane przez PPC Land 2 lipca 2026, wykazało, że 97% plików llms.txt nie otrzymało żadnych zapytań.

Nasz [przewodnik po llms.txt](https://webreaderapi.com/pl/guides/llms-txt-generator/) pokazuje, jak zbudować taki plik na podstawie crawlowania własnej witryny, jeśli mimo to go chcesz.

## Jak WebReaderAPI traktuje robots.txt?

Przestrzega go przy każdym odczycie, w tym przy odczytach wywołanych przez klienta. Respektujemy robots.txt: nasz crawler identyfikuje się jako WebReaderAPI, przestrzega reguł napisanych dla niego lub dla wszystkich robotów i nie czyta strony, której witryna zabrania. Odrzucone strony nie są obciążane opłatą. Jeśli witryna zadeklaruje Content-Signal: ai-input=no w swoim robots.txt, nie czytamy jej stron dla Ciebie. W przypadku zadań crawlingu czeka też tyle, ile ustawia witryna w `Crawl-delay`.

Każde zapytanie niesie ten sam User-Agent, `WebReaderAPI/1.0 (+https://webreaderapi.com/bot/)`, więc właściciele witryn mogą nas zobaczyć w swoich logach i napisać dla nas reguły. Nasza [strona crawlera](https://webreaderapi.com/pl/bot/) podaje szczegóły i kontakt w razie problemów.

*Przykłady robots.txt dla WebReaderAPI*

```text
# Block WebReaderAPI from the whole site
User-agent: WebReaderAPI
Disallow: /

# Or: allow it, but keep it out of one folder and slow it down
User-agent: WebReaderAPI
Disallow: /account/
Crawl-delay: 5

# Or: allow reading for search, but not as AI input (Content Signals)
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /

```

## robots.txt dla AI: najczęstsze pytania

### Czy zablokowanie GPTBot powstrzyma ChatGPT przed czytaniem mojej strony dla użytkownika?

Niekoniecznie. OpenAI dokumentuje osobne tokeny: GPTBot do trenowania, OAI-SearchBot do wyszukiwania i ChatGPT-User do działań użytkownika, i podaje, że reguły robots.txt mogą nie mieć zastosowania do działań zainicjowanych przez użytkownika. Sprawdź aktualną dokumentację każdego dostawcy.

### Czy robots.txt ma moc prawną?

Sam w sobie nie; RFC 9309 mówi, że nie jest autoryzacją dostępu. W UE maszynowo czytelne rezygnacje mają znaczenie dla eksploracji tekstu i danych w ramach dyrektywy DSM. Zobacz nasz [przegląd prawny](https://webreaderapi.com/pl/guides/is-reading-web-pages-for-ai-legal/); to nie jest porada prawna.

### Jak zablokować WebReaderAPI?

Dodaj do swojego robots.txt grupę `User-agent: WebReaderAPI` z `Disallow: /`. Nasze odczyty sprawdzają go przed każdą stroną; niedozwolone strony nigdy nie są czytane.

### Czy WebReaderAPI czyta strony, które mówią ai-input=no?

Nie. Jeśli witryna zadeklaruje Content-Signal: ai-input=no w swoim robots.txt, nie czytamy jej stron dla Ciebie. API zwraca klientowi `403 blocked_by_site_policy`, bez opłaty.

## Źródła

1. [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309.html) — RFC Editor (September 2022)
2. [Przegląd crawlerów OpenAI](https://developers.openai.com/api/docs/bots) — OpenAI (read 2026-10-22)
3. [Czy Anthropic crawluje dane z sieci i jak właściciele witryn mogą zablokować crawler?](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) — Anthropic (2026-04-07)
4. [Pobierające wywoływane przez użytkownika Google](https://developers.google.com/crawling/docs/crawlers-fetchers/google-user-triggered-fetchers) — Google (updated 2026-08-19)
5. [Crawlery Perplexity](https://docs.perplexity.ai/guides/bots) — Perplexity (read 2026-10-22)
6. [Serwer pobierania MCP](https://github.com/modelcontextprotocol/servers/tree/main/src/fetch) — Model Context Protocol (read 2026-10-22)
7. [Polityka Content Signals](https://blog.cloudflare.com/content-signals-policy/) — Cloudflare (2025-09-24)
8. [Dokumenty grupy roboczej AI Preferences](https://datatracker.ietf.org/wg/aipref/documents/) — IETF (read 2026-10-22)
9. [Dokumenty grupy roboczej Web Bot Auth](https://datatracker.ietf.org/wg/webbotauth/documents/) — IETF (read 2026-10-22)
10. [Really Simple Licensing](https://rslstandard.org/) — rslstandard.org (read 2026-10-22)
11. [Dane o popularności llms.txt](https://www.rankability.com/data/llms-txt-adoption/) — Rankability (2026-09-18)
12. [Popularność llms.txt rośnie 8,8x, ale 97% plików nie dostało żadnych zapytań AI](https://ppc.land/llms-txt-adoption-rises-8-8x-but-97-of-files-get-zero-ai-requests/) — PPC Land (2026-07-02)

---

WebReaderAPI: WebReaderAPI to API czytnika stron internetowych dla agentów AI, które zamienia każdą publiczną stronę internetową w czysty Markdown, z płatnością kryptowalutą i bez przesyłania dokumentów tożsamości. Przedpłacone kredyty od 0,07 USD/1K stron nigdy nie wygasają, a robots.txt jest respektowany. Bez KYC — bez dowodu, bez selfie, bez dokumentów. Płatność kryptowalutą.