Szybka odpowiedź
Czy agenci AI muszą przestrzegać robots.txt?
To zależy od dostawcy. robots.txt to dobrowolny standard (RFC 9309, wrzesień 2022). Crawlery budujące indeksy generalnie go przestrzegają; w przypadku pobrań uruchamianych przez użytkownika OpenAI mówi, że jego zasady mogą nie mieć zastosowania, Google i Perplexity mówią, że ich fetchery generalnie je ignorują, a Anthropic mówi, że jego boty je honorują. WebReaderAPI przestrzega robots.txt przy każdym odczycie, bez KYC i z płatnością kryptowalutą.
robots.txt i AI w październiku 2026
| Standard | RFC 9309, Robots Exclusion Protocol, wrzesień 2022 |
|---|---|
| OpenAI ChatGPT-User | zasady robots.txt „mogą nie mieć zastosowania” do działań uruchamianych przez użytkownika |
| Anthropic (w tym Claude-User) | Twierdzi, że jego boty respektują dyrektywy robots.txt, w tym Crawl-delay |
| Pobierające wywoływane przez użytkownika Google | „Zazwyczaj ignoruje reguły robots.txt” (strona zaktualizowana 2026-08-19) |
| Perplexity-User | „Zazwyczaj ignoruje reguły robots.txt” |
| Content Signals | Polityka Cloudflare z 24 września 2025: search, ai-input, ai-train |
| Preferencje AI IETF | Projekty grup roboczych, jeszcze nie RFC |
| WebReaderAPI | Przestrzega robots.txt i ai-input=no przy każdym odczycie; token WebReaderAPI |
Co właściwie robi robots.txt?
Mówi zautomatyzowanym klientom, które ścieżki witryna wolałaby pominąć. Plik znajduje się w katalogu głównym hosta, grupuje reguły według tokena user-agent i używa wierszy Allow i Disallow. RFC 9309, opublikowany we wrześniu 2022, uczynił z tej wieloletniej konwencji standard.
RFC jasno stwierdza, że plik niczego nie blokuje: „Te reguły nie są formą autoryzacji dostępu”. Przestrzeganie jest dobrowolne. Dlatego znaczenie ma deklarowana polityka każdego dostawcy i dlatego witryny, które chcą twardych ograniczeń, stosują także zapory ogniowe i zarządzanie botami.
Dlaczego crawlers i pobierające wywoływane przez użytkownika się różnią?
Crawler sam decyduje, które strony odwiedzić; pobierające wywoływany przez użytkownika odwiedza jedną stronę, bo poprosiła o to osoba. Wielu dostawców traktuje drugi przypadek jak przeglądarkę działającą w imieniu swojego użytkownika i twierdzi, że robots.txt nie ma tu pełnego zastosowania.
| Pobierające | Deklarowana polityka (odczyt 2026-10-22) |
|---|---|
| OpenAI ChatGPT-User | reguły robots.txt „mogą nie mieć zastosowania” do działań zainicjowanych przez użytkownika; witryny są kierowane do OAI-SearchBot w sprawie rezygnacji z wyszukiwania |
| Anthropic Claude-User | Anthropic twierdzi, że jego boty respektują dyrektywy robots.txt; zablokowanie Claude-User zatrzymuje pobieranie dla zapytań użytkowników |
| Pobierające wywoływane przez użytkownika Google | „Zazwyczaj ignoruje reguły robots.txt”, ponieważ to użytkownik zażądał pobrania |
| Perplexity-User | „Zazwyczaj ignoruje reguły robots.txt” z tego samego powodu |
| Serwer pobierania referencyjnego MCP | Domyślnie przestrzega robots.txt dla pobrań zainicjowanych przez model, nie dla tych zainicjowanych przez użytkownika |
Ten podział jest realny i udokumentowany. Jeśli budujesz agenta, zdecyduj, po której jesteś stronie, i powiedz to w swoim user agent i dokumentacji.
Czym są Content Signals, aipref i RSL?
To nowsze sposoby określania, co systemy AI mogą robić z treścią, a nie tylko tego, czy robot może ją pobrać.
- Content Signals. Cloudflare opublikował tę politykę 24 września 2025. robots.txt może określać
search,ai-input(użycie jako dane wejściowe do odpowiedzi AI, np. do ugruntowania) orazai-train. Zarządzany robots.txt Cloudflare domyślnie serwujesearch=yes, ai-train=no. - Preferencje AI IETF (aipref). Projekty słownika i załącznika grupy roboczej były w październiku 2026 wciąż Internet-Draftami, przeznaczonymi na Proposed Standards.
- Web Bot Auth. Sposób, w jaki boty mogą podpisywać swoje zapytania; grupa robocza IETF przyjęła projekt protokołu 1 września 2026.
- RSL (Really Simple Licensing). Jego strona podaje, że specyfikacja RSL 1.0 jest dostępna; pozwala wydawcom określać warunki licencji, w tym pay-per-crawl, przez robots.txt, nagłówki lub RSS.
Czy llms.txt to to samo co robots.txt?
Nie. robots.txt mówi, czego nie pobierać; llms.txt to proponowany plik, który wymienia kluczowe strony witryny dla modeli językowych. Przyjęcie rośnie, ale zmierzone użycie jest niskie. Rankability odnotował llms.txt na 9,3% z 1 000 najlepszych witryn 18 września 2026. Badanie Ahrefs na 137 000 domen, opisane przez PPC Land 2 lipca 2026, wykazało, że 97% plików llms.txt nie otrzymało żadnych zapytań.
Nasz przewodnik po llms.txt pokazuje, jak zbudować taki plik na podstawie crawlowania własnej witryny, jeśli mimo to go chcesz.
Jak WebReaderAPI traktuje robots.txt?
Przestrzega go przy każdym odczycie, w tym przy odczytach wywołanych przez klienta. Respektujemy robots.txt: nasz crawler identyfikuje się jako WebReaderAPI, przestrzega reguł napisanych dla niego lub dla wszystkich robotów i nie czyta strony, której witryna zabrania. Odrzucone strony nie są obciążane opłatą. Jeśli witryna zadeklaruje Content-Signal: ai-input=no w swoim robots.txt, nie czytamy jej stron dla Ciebie. W przypadku zadań crawlingu czeka też tyle, ile ustawia witryna w Crawl-delay.
Każde zapytanie niesie ten sam User-Agent, WebReaderAPI/1.0 (+https://webreaderapi.com/bot/), więc właściciele witryn mogą nas zobaczyć w swoich logach i napisać dla nas reguły. Nasza strona crawlera podaje szczegóły i kontakt w razie problemów.
# Block WebReaderAPI from the whole site
User-agent: WebReaderAPI
Disallow: /
# Or: allow it, but keep it out of one folder and slow it down
User-agent: WebReaderAPI
Disallow: /account/
Crawl-delay: 5
# Or: allow reading for search, but not as AI input (Content Signals)
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
robots.txt dla AI: najczęstsze pytania
Czy zablokowanie GPTBot powstrzyma ChatGPT przed czytaniem mojej strony dla użytkownika?
Niekoniecznie. OpenAI dokumentuje osobne tokeny: GPTBot do trenowania, OAI-SearchBot do wyszukiwania i ChatGPT-User do działań użytkownika, i podaje, że reguły robots.txt mogą nie mieć zastosowania do działań zainicjowanych przez użytkownika. Sprawdź aktualną dokumentację każdego dostawcy.
Czy robots.txt ma moc prawną?
Sam w sobie nie; RFC 9309 mówi, że nie jest autoryzacją dostępu. W UE maszynowo czytelne rezygnacje mają znaczenie dla eksploracji tekstu i danych w ramach dyrektywy DSM. Zobacz nasz przegląd prawny; to nie jest porada prawna.
Jak zablokować WebReaderAPI?
Dodaj do swojego robots.txt grupę User-agent: WebReaderAPI z Disallow: /. Nasze odczyty sprawdzają go przed każdą stroną; niedozwolone strony nigdy nie są czytane.
Czy WebReaderAPI czyta strony, które mówią ai-input=no?
Nie. Jeśli witryna zadeklaruje Content-Signal: ai-input=no w swoim robots.txt, nie czytamy jej stron dla Ciebie. API zwraca klientowi 403 blocked_by_site_policy, bez opłaty.
Źródła (12)
- RFC 9309: Robots Exclusion Protocol — RFC Editor (September 2022)
- Przegląd crawlerów OpenAI — OpenAI (read 2026-10-22)
- Czy Anthropic crawluje dane z sieci i jak właściciele witryn mogą zablokować crawler? — Anthropic (2026-04-07)
- Pobierające wywoływane przez użytkownika Google — Google (updated 2026-08-19)
- Crawlery Perplexity — Perplexity (read 2026-10-22)
- Serwer pobierania MCP — Model Context Protocol (read 2026-10-22)
- Polityka Content Signals — Cloudflare (2025-09-24)
- Dokumenty grupy roboczej AI Preferences — IETF (read 2026-10-22)
- Dokumenty grupy roboczej Web Bot Auth — IETF (read 2026-10-22)
- Really Simple Licensing — rslstandard.org (read 2026-10-22)
- Dane o popularności llms.txt — Rankability (2026-09-18)
- Popularność llms.txt rośnie 8,8x, ale 97% plików nie dostało żadnych zapytań AI — PPC Land (2026-07-02)