Czym jest web reader API? URL na wejściu, czytelny Markdown na wyjściu

Co robi web reader API, krok po kroku?

Wykonuje pięć zadań, których potrzebuje każdy pipeline konwersji strony internetowej do Markdown, w jednym wywołaniu:

1. Sprawdza uprawnienia. Staranny czytnik zagląda do robots.txt witryny pod własną nazwą i pod wszystkie roboty, zanim cokolwiek pobierze.
2. Pobiera stronę. Pobiera HTML, podąża za przekierowaniami i zatrzymuje się po upływie limitu czasu.
3. Renderuje w razie potrzeby. Jeśli HTML to pusta powłoka wypełniana przez JavaScript, ładuje stronę w przeglądarce headless i odczytuje wynik.
4. Wyodrębnia główną treść. Krok w stylu readability znajduje artykuł lub treść dokumentacji i usuwa otaczającą oprawę strony.
5. Konwertuje i opisuje. Zapisuje treść jako Markdown i dodaje metadane: tytuł, autora, datę publikacji, język i liczbę słów.

Wywołujący otrzymuje jeden obiekt JSON z Markdownem w środku. Model może go od razu przeczytać, a pipeline może podzielić go na fragmenty do magazynu wektorowego.

Dlaczego modele potrzebują Markdownu, a nie HTML?

Ponieważ większość strony HTML to nie treść. Menu, tagi skryptów, kod śledzący i znaczniki układu zużywają tokeny, które model musi odczytać i za które musisz zapłacić. Markdown zachowuje części niosące znaczenie: nagłówki, listy, tabele, linki i wyróżnienia.

Cloudflare podał konkretny przykład, gdy 12 lutego 2026 uruchomił funkcję „Markdown for Agents”: jedna strona spadła z 16 180 tokenów jako HTML do 3150 tokenów jako Markdown, czyli około 80% mniej. Wyniki różnią się w zależności od strony, ale kierunek jest ten sam na większości stron artykułów i dokumentacji.

Czym web reader API różni się od API do web scrapingu?

API do web scrapingu zwraca to, co wysłał serwer; czytnik zwraca to, co przeczytałby człowiek. API do web scrapingu są zbudowane do pobierania stron na dużą skalę, często po to, by wyciągnąć konkretne pola, takie jak ceny czy nazwy produktów, i zwykle oddają surowy HTML lub zdefiniowany przez Ciebie ustrukturyzowany JSON.

Web reader jest węższy i bardziej zdecydowany. Sam decyduje, co jest główną treścią, usuwa resztę i zapisuje czysty tekst. To właściwe narzędzie, gdy kolejnym odbiorcą jest model językowy, indeks wyszukiwania lub osoba czytająca podsumowanie. To złe narzędzie, gdy potrzebujesz każdego pola siatki produktów; do tego chcesz pełny HTML lub ekstrakcję opartą na schemacie.

Czym różni się od API wyszukiwania?

API wyszukiwania odpowiada na pytanie „które strony mówią o tym?”; czytnik odpowiada na pytanie „co mówi ta strona?”. Wyszukiwanie zwraca listę URL-i z tytułami i fragmentami dla zapytania. Czytnik bierze jeden z tych URL-i i zwraca jego pełny tekst.

Agenci często łączą oba: wyszukiwanie, by znaleźć kandydatów na strony, a potem czytanie trzech lub czterech najlepszych, by odpowiedzieć z cytatami. Rozdzielenie kroków pozwala wybrać, ile stron czytać, co oszczędza tokeny i kredyty.

Czy zamiast API mogę używać narzędzi open source?

Tak, i wiele zespołów tak zaczyna. Readability od Mozilli wyodrębnia główną treść strony w kontekście przeglądarki; Trafilatura robi ekstrakcję w Pythonie; MarkItDown od Microsoftu konwertuje dokumenty, w tym PDF-y, do Markdownu; Crawl4AI łączy crawling z wyjściem w Markdownie.

Biblioteka to łatwa część. Uruchomienie jej w produkcji oznacza hostowanie przeglądarek headless dla stron z JavaScript, sprawdzanie robots.txt, obsługę limitów czasu, przekierowań i zestawów znaków, konwersję PDF-ów i utrzymywanie tego wszystkiego w aktualnej wersji. API jest warte swojej ceny, gdy wolisz płacić za stronę niż utrzymywać tę maszynerię; biblioteka jest warta swojej ceny, gdy wolumeny są stabilne i masz czas, by nią operować.

Jak rozliczają web reader API?

W 2026 roku powszechne są trzy modele rozliczeń. Plany oparte na kredytach pobierają ustaloną liczbę kredytów za stronę: strona cennika Firecrawl, czytana 22 października 2026, liczy 1 kredyt za zescrapowaną stronę i 4 dodatkowe kredyty za stronę dla formatu JSON. Rozliczanie oparte na tokenach pobiera opłatę za zwrócony tekst: Jina Reader rozlicza w ten sposób od 6 maja 2025 i daje 10 milionów darmowych tokenów każdemu nowemu kluczowi. Plany miesięczne zerują kredyty w każdym cyklu, a pakiety przedpłacone je zachowują.

WebReaderAPI używa przedpłaconych kredytów, które nigdy nie wygasają: 1 kredyt = 1 odczytana strona bez przeglądarki; 2 kredyty, gdy strona wymaga przeglądarki do wyrenderowania JavaScript. Zapytanie, które się nie powiedzie lub które zostanie odrzucone przez robots.txt witryny, nie jest obciążane opłatą. 10 000 stron kosztują 3,75 USD, a stawka spada do 0,07 USD/1K stron przy 5 000 000 stron, według stanu na październik 2026.

Co sprawdzić przed wyborem web reader API?

Przetestuj go na dwudziestu własnych URL-ach i zwróć uwagę na sześć rzeczy:

• Jakość ekstrakcji. Czy Markdown zachowuje artykuł i usuwa resztę, w tym tabele i bloki kodu?
• JavaScript. Czy strony budowane w przeglądarce wracają z tekstem i ile kosztuje rendering?
• PDF-y. Czy są obsługiwane i jak liczone są strony?
• Wybory właścicieli witryn. Czy usługa respektuje robots.txt i zadeklarowane preferencje AI oraz czy mówi o tym w swojej dokumentacji?
• Błędy. Czy nieudane i odrzucone strony są obciążane opłatą?
• Kontrola budżetu. Czy możesz ograniczyć długość każdej strony i czy kredyty wygasają?

Nasze porównanie cen web reader API stawia głównych dostawców obok siebie wraz z datami.