Słownik web reader API

Język znaczników stron internetowych. Surowy HTML miesza tekst, którego chcesz, ze znacznikami, skryptami i stylami, dlatego czyta się go słabo dla modelu językowego.

Document Object Model: drzewo elementów, które przeglądarka buduje z HTML, a następnie zmienia za pomocą JavaScript. Wyrenderowana strona jest odczytywana z DOM, a nie z surowego HTML.

Uruchamianie skryptów strony w przeglądarce, aby pojawiła się treść ładowana po pierwszej odpowiedzi. WebReaderAPI robi to w razie potrzeby (render=auto), za dwa kredyty zamiast jednego.

Prawdziwy silnik przeglądarki, który działa bez ekranu i jest sterowany przez oprogramowanie. W ten sposób strony mocno oparte na JavaScript są renderowane na serwerze.

Znajdowanie tej części strony, po którą przyszedł czytelnik, na przykład artykułu lub dokumentacji, i pomijanie wszystkiego wokół. W naszym API to main_content=true, ustawienie domyślne.

Zarówno cecha tekstu, jak i nazwa znanej rodziny algorytmów, które oceniają bloki strony, aby znaleźć główną treść, tak jak tryby czytania w przeglądarkach.

Tekst powtarzany na każdej stronie witryny: menu, komunikaty o cookies, panele boczne, stopki, przyciski udostępniania. Usunięcie go to większość pracy czytnika stron internetowych.

Format tekstu jawnego, w którym # oznacza nagłówek, - element listy, a [text](url) link. Modele czytają go dobrze, a zużywa znacznie mniej tokenów niż HTML.

Fakty o stronie, a nie jej tekst: tytuł, opis, autor, data publikacji, język. WebReaderAPI zwraca je obok Markdown, gdy strona je podaje.

Zamiana tekstu z pliku PDF na Markdown. Pliki PDF do 20 MB i 100 stron są konwertowane do Markdown, po 1 kredycie za każdy rozpoczęty blok 10 stron.

Plik XML, w którym witryna wymienia swoje strony. Zadanie crawlingu zaczyna od niego, gdy istnieje, co pozwala szybciej znaleźć strony przy mniejszej liczbie zapytań.

Bariera, która pokazuje treść tylko subskrybentom. WebReaderAPI nigdy nie czyta za nią.

Program, który pobiera strony internetowe w określonym celu. Nasz pobiera tylko strony, o które proszą klienci, a strona bota to opisuje.

Nazwa, którą klient wysyła z każdym zapytaniem. Nasza to WebReaderAPI/1.0 (+https://webreaderapi.com/bot/), więc właściciele witryn zawsze wiedzą, kto pyta.

Plik w katalogu głównym witryny, który mówi crawlerom, jakie ścieżki mogą pobierać, znormalizowany jako RFC 9309. Respektujemy robots.txt: nasz crawler identyfikuje się jako WebReaderAPI, przestrzega reguł napisanych dla niego lub dla wszystkich robotów i nie czyta strony, której witryna zabrania. Odrzucone strony nie są obciążane opłatą.

Wiersz w robots.txt proszący crawlery o odczekanie określonej liczby sekund między zapytaniami. Nasze zadania crawlingu go respektują.

Polityka dla wierszy robots.txt takich jak Content-Signal: search=yes, ai-input=no, które określają, jak można wykorzystywać treść witryny, w tym przez AI.

Ustawienie Content Signals, które dotyczy wykorzystania strony jako danych wejściowych dla odpowiedzi AI. Jeśli witryna zadeklaruje Content-Signal: ai-input=no w swoim robots.txt, nie czytamy jej stron dla Ciebie.

Plik Markdown, który niektóre witryny publikują pod /llms.txt, aby dać modelom językowym krótki przewodnik po swoich treściach i kluczowych stronach.

Czytanie wielu stron jednej witryny przez podążanie za jej linkami i sitemap. Crawling jednej witryny na zadanie, do 10 000 stron, zgodnie z jej sitemapą, jej robots.txt i jej Crawl-delay.

Lista URL-i wysłana w jednym zapytaniu i przetwarzana w tle. Do 100 URL-i na jedno zadanie wsadowe.

Status, który serwer wysyła, aby odrzucić zapytanie. Gdy witryna odpowiada 403 naszemu crawlerowi, API zwraca target_refused i nic nie pobiera.

Status dla zbyt wielu zapytań. Ze strony oznacza zwolnij; z naszego API (concurrency_limit) oznacza, że Twoje konto osiągnęło limit jednoczesnych odczytów.

Oczekiwanie coraz dłużej po każdej nieudanej próbie (na przykład 1, 2, potem 4 sekundy) przed ponowną próbą, żeby nie zalewać zajętego serwera.

Jednostka, którą czyta i za którą rozlicza się model językowy, w przybliżeniu krótkie słowo lub jego część. Czysty Markdown zużywa znacznie mniej tokenów niż ta sama strona w HTML.

Ilość tekstu, jaką model może przyjąć naraz. Parametr max_chars utrzymuje każdą stronę w ramach ustawionego budżetu.

Retrieval-augmented generation: model odpowiada na podstawie dokumentów pobranych dla pytania. Web reader dostarcza te dokumenty z live stron.

Dzielenie długiego dokumentu na fragmenty przed indeksowaniem. Nagłówki Markdown dają naturalne punkty podziału.

Lista liczb reprezentująca znaczenie fragmentu, używana do znajdowania fragmentów podobnych do pytania.

Baza danych, która przechowuje embeddingi i zwraca najbliższe fragmenty do zapytania — zwykłe miejsce chunkowanych stron internetowych w systemie RAG.

Zdolność modelu do poproszenia aplikacji o uruchomienie funkcji, takiej jak odczyt URL, i do wykorzystania wyniku. Zobacz OpenAI function calling.

Model Context Protocol, standardowy sposób podłączania narzędzi do klientów AI, takich jak Claude Desktop lub Cursor. Nasza strona MCP pokazuje narzędzie fetch zbudowane na API.

Jednostka użycia API. 1 kredyt = 1 odczytana strona bez przeglądarki; 2 kredyty, gdy strona wymaga przeglądarki do wyrenderowania JavaScript. Zapytanie, które się nie powiedzie lub które zostanie odrzucone przez robots.txt witryny, nie jest obciążane opłatą.

Ile odczytów Twoje konto może uruchomić w tym samym momencie. Każde konto ma limit liczby stron czytanych jednocześnie; Twój dashboard go pokazuje, a support może go podnieść.

Know your customer: weryfikacja tożsamości, której wymagają niektóre serwisy, na przykład dokument tożsamości lub selfie. WebReaderAPI nie wymaga żadnej.

Kryptowaluta śledząca walutę, taką jak dolar amerykański. USDT i USDC to dwie akceptowane przy doładowaniach; pełna lista monet jest BTC, USDT, USDC, ETH, SOL, LTC.