Test
10 000 stron
3,75 USD
0,38 USD/1K stron
- Wypróbuj na swoich prawdziwych URL-ach
- To samo API co w największym pakiecie
- Kredyty nigdy nie wygasają
Szybka odpowiedź
Jak wczytywać strony internetowe do pipeline'u RAG?
Odczytaj każdą stronę jako Markdown jej głównej treści, podziel go wzdłuż nagłówków, dołącz źródłowy URL i tytuł do każdego chunka, a następnie zrób embedding i zapisz. WebReaderAPI zajmuje się odczytem: jedno zapytanie na stronę lub jedno zadanie crawlowania dla całej witryny do 10 000 stron, po jednym kredycie za stronę od 0,07 USD/1K stron według stanu na październik 2026. robots.txt jest respektowany. Bez KYC; płatność kryptowalutą.
Wczytywanie do RAG z WebReaderAPI
| Cała witryna | POST https://webreaderapi.com/api/v1/crawl: Crawling jednej witryny na zadanie, do 10 000 stron, zgodnie z jej sitemapą, jej robots.txt i jej Crawl-delay |
|---|---|
| Lista URL-i | POST https://webreaderapi.com/api/v1/batch: Do 100 URL-i na jedno zadanie wsadowe |
| Za stronę | Markdown głównej treści, tytuł, autor, data, język, liczba słów |
| PDF-y | Pliki PDF do 20 MB i 100 stron są konwertowane do Markdown, po 1 kredycie za każdy rozpoczęty blok 10 stron |
| Rozliczanie | 1 kredyt = 1 odczytana strona bez przeglądarki; 2 kredyty, gdy strona wymaga przeglądarki do wyrenderowania JavaScript. Zapytanie, które się nie powiedzie lub które zostanie odrzucone przez robots.txt witryny, nie jest obciążane opłatą |
| Cena | 14,25 USD za 50 000 stron; kredyty nigdy nie wygasają |
Dlaczego czysty Markdown daje lepsze wyszukiwanie?
Chunki złożone z boilerplate'u wyszukują się źle. Gdy strona jest dzielona z menu, tekstem o cookies i stopką w środku, wiele chunków zawiera te same słowa nawigacji, a wyszukiwanie wektorowe zwraca je na niepowiązane pytania. Wyodrębnianie głównej treści usuwa ten szum przed zrobieniem embeddingu.
Nagłówki mają równie duże znaczenie. Chunk, który zaczyna się od ## Refund policy, niesie ze sobą swój temat, więc zarówno embedding, jak i model czytający go później wiedzą, o czym jest. Czysty tekst gubi ten sygnał; surowy HTML ukrywa go pod znacznikami.
Jak wygląda pipeline wczytywania?
Pięć kroków, niezależnie od tego, jakiego magazynu wektorów używasz:
- Zbierz adresy URL. Przejdź przez crawling strony lub wyślij listę, którą już masz, jako batch.
- Czytaj jako Markdown. Zostaw
main_content=truedla artykułów i dokumentacji; użyjfalsedla stron listingowych. - Dziel według nagłówków. Tnij na
#,##i###, a następnie skracaj długie sekcje do swojego limitu rozmiaru z niewielkim zakładkiem. - Dołącz metadane. Zapisuj
url,title,published_ati ścieżkę nagłówków przy każdym chunku, żeby odpowiedzi mogły cytować swoje źródło. - Odświeżaj. Ponownie czytaj strony, których
lastmodw sitemapie się zmienił, i usuwaj chunki stron, które teraz zwracają błąd.
import os
import re
import requests
API = "https://webreaderapi.com/api/v1/read"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}
URLS = [
"https://docs.example.com/getting-started",
"https://docs.example.com/billing",
]
def chunks_for(url, max_len=2000):
page = requests.get(API, headers=HEADERS, params={"url": url}, timeout=90).json()
if "markdown" not in page:
return []
out = []
for section in re.split(r"\n(?=#{1,3} )", page["markdown"]):
section = section.strip()
heading = section.splitlines()[0] if section else ""
for start in range(0, len(section), max_len):
out.append({
"text": section[start:start + max_len],
"url": page.get("final_url", url),
"title": page.get("title"),
"heading": heading,
})
return out
all_chunks = [c for u in URLS for c in chunks_for(u)]
print(len(all_chunks), "chunks ready to embed")
Ile kosztuje zbudowanie i odświeżanie indeksu?
Zbudowanie kosztuje jeden kredyt za stronę, dwa za strony wymagające przeglądarki. Odświeżanie kosztuje tylko ponownie czytane strony. Trzy przykłady, według cen z października 2026:
- Centrum pomocy produktu liczące 800 stron, odświeżane miesięcznie dla zmienionych stron (około 10%): 800 kredytów raz, potem około 80 miesięcznie. 10 000 stron (3,75 USD) wystarczą na lata.
- Dziesięć serwisów z dokumentacją po 2 000 stron każdy, odświeżane co tydzień w 5%: 20 000 kredytów, potem około 4 000 miesięcznie. 50 000 stron (14,25 USD) pokrywają zbudowanie i siedem miesięcy odświeżeń.
- Archiwum wiadomości liczące 300 000 artykułów, które nigdy się nie zmieniają: 300 000 kredytów raz, co mieści się w 500 000 stron (50 USD).
Embeddingi i przechowywanie rozliczasz u własnych dostawców i nie są one wliczone w cenę.
Czy mogę indeksować strony, które nie chcą być indeksowane?
Nie przez WebReaderAPI. Strony zabronione przez robots.txt dla naszego crawlera lub dla wszystkich robotów są pomijane i nie są naliczane; serwisy, które deklarują Content-Signal: ai-input=no, nie są dla Ciebie czytane. W przypadku własnych stron lub stron partnerów, które blokują roboty, poproś właściciela o zezwolenie WebReaderAPI w robots.txt; nasza strona crawlera pokazuje linie do dodania.
Ma to znaczenie także dla Twoich użytkowników. Asystent RAG, który cytuje źródła, jest bardziej użyteczny, gdy te źródła zgodziły się na odczyt.
Który pakiet pasuje do projektu RAG?
Policz strony do zbudowania indeksu, dodaj miesięczne odświeżanie i wybierz pakiet, który pokryje kilka miesięcy. Kredyty nigdy nie wygasają.
Starter
50 000 stron
14,25 USD
0,28 USD/1K stron
- Agent AI lub prototyp RAG
- Crawluj stronę dokumentacji
- Kredyty nigdy nie wygasają
Build
100 000 stron
21,75 USD
0,22 USD/1K stron
- Agenty produkcyjne i pipeline'y RAG
- Zadania batch i crawling
- Kredyty nigdy nie wygasają
Scale
500 000 stron
50 USD
0,10 USD/1K stron
- Duże bazy wiedzy
- Wyższa współbieżność na życzenie
- Kredyty nigdy nie wygasają
W każdym planie: Wyodrębnianie głównej treści · Renderowanie JavaScript, gdy potrzebne · Nieudane i odrzucone strony bez opłat · Kredyty nigdy nie wygasają
Wprowadzanie danych do RAG: najczęstsze pytania
Jakiego rozmiaru chunku powinienem używać?
Najpierw dziel według nagłówków, a potem skracaj sekcje dłuższe niż około 500 do 1 000 tokenów z niewielkim zakładkiem. Chunki oparte na nagłówkach zachowują jeden temat każdy, co zwykle daje lepsze wyniki wyszukiwania niż okna o stałym rozmiarze na całej stronie.
Czy WebReaderAPI tworzy embeddingi lub przechowuje wektory?
Nie. WebReaderAPI czyta strony i zwraca Markdown z metadanymi. Embeddingi tworzysz modelu swojego wyboru i przechowujesz we własnej bazie danych wektorów; strona LangChain i LlamaIndex pokazuje jedno i drugie.
Jak utrzymać indeks w aktualnym stanie?
Ponownie czytaj tylko strony, które się zmieniły. Większość sitemap zawiera datę lastmod dla każdego adresu URL; porównaj ją z ostatnim odczytem i wyślij zmienione adresy URL jako batch. Strony, które teraz zwracają błąd, należy usunąć z indeksu.
Czy mogę uwzględnić pliki PDF z tej samej strony?
Tak. Crawling czyta linki do PDF w tej samej domenie z tymi samymi sprawdzeniami robots.txt. Pliki PDF do 20 MB i 100 stron są konwertowane do Markdown, po 1 kredycie za każdy rozpoczęty blok 10 stron.