Szybka odpowiedź
Czym jest bot WebReaderAPI i jak go zablokować?
Bot WebReaderAPI pobiera publiczne strony, gdy jeden z naszych klientów poprosi API o ich odczytanie. Wysyła user agent WebReaderAPI/1.0 (+https://webreaderapi.com/bot/) i przestrzega reguł robots.txt zapisanych dla tokenu WebReaderAPI lub dla wszystkich robotów. Aby zablokować go wszędzie, dopisz do swojego robots.txt User-agent: WebReaderAPI, a po nim Disallow: /.
Bot w skrócie
| Nagłówek User-Agent | WebReaderAPI/1.0 (+https://webreaderapi.com/bot/) |
|---|---|
| Token robots.txt | WebReaderAPI |
| robots.txt | Respektujemy robots.txt: nasz crawler identyfikuje się jako WebReaderAPI, przestrzega reguł napisanych dla niego lub dla wszystkich robotów i nie czyta strony, której witryna zabrania. Odrzucone strony nie są obciążane opłatą |
| Sygnały preferencji AI | Jeśli witryna zadeklaruje Content-Signal: ai-input=no w swoim robots.txt, nie czytamy jej stron dla Ciebie |
| Gdy strona mówi nie | Jeśli witryna odrzuci nasze zapytanie, zwracamy jej odpowiedź: nigdy nie rozwiązujemy CAPTCHA, nie logujemy się do kont ani nie próbujemy obejść blokady lub paywalla |
| Kopie Twoich stron | Żadne nie są przechowywane po wysłaniu odpowiedzi do klienta |
| Zadania crawlowania | Crawling jednej witryny na zadanie, do 10 000 stron, zgodnie z jej sitemapą, jej robots.txt i jej Crawl-delay |
| Kontakt | [email protected] |
Dlaczego WebReaderAPI pobrało moją stronę?
Ponieważ klient API o to poprosił. WebReaderAPI nie buduje własnego indeksu sieci i nie przegląda jej z własnej inicjatywy. Każde pobranie należy do jednego z trzech typów zapytań:
- Pojedynczy odczyt: aplikacja lub agent AI wysłał Twój URL do
/read, zwykle dlatego, że człowiek zadał pytanie, na które odpowiada Twoja strona. - Zadanie wsadowe: klient przesłał listę do 100 URL-i, a Twój był na niej.
- Zadanie crawlowania: klient poprosił nas o odczytanie całej witryny, począwszy od jednego adresu i pozostając w obrębie tej domeny. Crawling podąża za Twoim sitemap i Twoim robots.txt.
Klient otrzymuje główny tekst strony jako Markdown. Nie przechowujemy jej kopii.
Jak zablokować bota na całej mojej witrynie?
Dodaj grupę dla naszego tokenu do pliku robots.txt. Bot odczytuje /robots.txt przed pobraniem strony i cache'uje go przez maksymalnie 24 godziny, więc zmiana zaczyna obowiązywać najpóźniej w ciągu dnia.
User-agent: WebReaderAPI
Disallow: /
Czy mogę zablokować tylko część witryny albo spowolnić bota?
Tak. Wymień foldery, które chcesz wykluczyć, pod Disallow i ustaw Crawl-delay w sekundach dla zadań crawlowania. Reguły zapisane dla wszystkich robotów (User-agent: *) również nas dotyczą, gdy nie masz grupy dla naszego tokenu. Gdy ją masz, wygrywa ta grupa, zgodnie z opisem w RFC 9309.
User-agent: WebReaderAPI
Disallow: /account/
Disallow: /drafts/
Crawl-delay: 5
Czy bot respektuje sygnały preferencji AI?
Tak, te, które witryna deklaruje w robots.txt. Jeśli Twój plik zawiera Content-Signal: ai-input=no, traktujemy to jako odmowę wykorzystania Twoich stron jako danych wejściowych do odpowiedzi AI i nie czytamy ich dla naszych klientów. API zwraca wtedy klientowi błąd blocked_by_site_policy, który nie zostaje obciążony opłatą.
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
Co robi bot, gdy moja witryna go odrzuca?
Zatrzymuje się i zgłasza Twoją odpowiedź. Status 403 lub 429, strona challenge, formularz logowania lub paywall kończą zapytanie. Klient otrzymuje błąd target_refused z Twoim kodem statusu i nie jest za niego obciążany.
Bot nigdy nie rozwiązuje challenge'y, nigdy się nie loguje, nigdy nie zmienia user agenta, by wyglądać jak przeglądarka, i nigdy nie ponawia w ukryciu. Jeśli chcesz, abyśmy czytali Twoje strony, zezwól na token w robots.txt i przepuszczaj zapytania; jeśli nie, po Twojej stronie nic więcej nie jest potrzebne.
Czego WebReaderAPI jeszcze nie obiecuje?
Nie publikujemy dziś listy adresów IP, więc identyfikuj bota po jego user agencie i zachowaniu wobec robots.txt, a nie po IP. Strony czytane z opcją country wychodzą z adresu w wybranym kraju, nadal z tym samym user agentem. Dodamy nasze zakresy adresów do tej strony, gdy zostaną ustalone, wraz z datą zmiany.
Jak zgłosić problem z botem?
Napisz na [email protected], podając datę i godzinę, swoją domenę, pobrany URL i wiersz swojego access logu pokazujący nasz user agent. Każde zgłoszenie czyta człowiek i weryfikuje je z naszymi logami. Jeśli klient używa API wbrew naszej Polityce dopuszczalnego użytkowania, jego konto zostaje zawieszone.
Aby sprawdzić, czy zapytanie naprawdę pochodzi od nas, porównaj user agent i zachowanie wobec robots.txt z tą stroną. Klient, który ignoruje reguły Twojego robots.txt, używając naszej nazwy, nie jest naszym botem.
Pytania właścicieli stron
Czy bot WebReaderAPI to crawler wyszukiwarki?
Nie. Nie indeksuje sieci ani nie rankinguje stron. Czyta stronę tylko wtedy, gdy klient API o tę stronę poprosi, w pojedynczym zapytaniu, wsadzie lub crawlowaniu jednej witryny.
Czy zablokowanie bota wpłynie na moje pozycje w Google lub Bing?
Nie. Reguły zapisane dla WebReaderAPI dotyczą tylko naszego bota. Crawlery wyszukiwarek kierują się własnymi grupami w Twoim robots.txt.
Jak szybko zmiana w robots.txt zaczyna obowiązywać?
Najpóźniej w ciągu 24 godzin. Bot cache'uje robots.txt przez maksymalnie dobę, zanim odczyta go ponownie.
Czy bot respektuje Crawl-delay?
Tak, w przypadku zadań crawlowania, które czytają wiele stron jednej witryny. Pojedyncze odczytanie to jedno zapytanie i nie jest rozłożone w czasie.
Czy przechowujecie lub sprzedajecie treść moich stron?
Nie. Tekst strony trafia do klienta, który o niego poprosił, i nie jest u nas przechowywany. Nasze logi zawierają nazwę hosta, czas, status i wykorzystane kredyty przez 30 dni.