# Crawl API: zamień całą stronę internetową w pliki Markdown

> Crawl API, zamienia stronę w Markdown dla RAG: do 10 000 stron, z sitemap i robots.txt, od 0,07 USD/1K stron. Kryptowaluty.

- URL: https://webreaderapi.com/pl/crawl-api/
- Ostatnia aktualizacja: 2026-10-22
- Wydawca: WebReaderAPI (https://webreaderapi.com)

Podaj URL startowy i limit stron. Crawler podąża za sitemap strony i linkami w obrębie tej samej domeny, odczytuje każdą stronę jako Markdown i zwraca wyniki strona po stronie. Jeden kredyt za stronę.

**Szybka odpowiedź — Jak mogę scrawlować całą stronę internetową i otrzymać każdą stronę jako Markdown?**

Użyj Crawl API: wysyłasz URL startowy i limit, a ono zwraca każdą stronę witryny jako Markdown. **WebReaderAPI** scrawluje do 10 000 stron na zadanie w obrębie jednej domeny, przestrzega sitemap, robots.txt i Crawl-delay, a pobiera jeden kredyt za odczytaną stronę, od 0,07 USD/1K stron według stanu na październik 2026. Strony odrzucone przez robots.txt są bezpłatne. Bez KYC; płatność kryptowalutą.

## Crawl API w skrócie

| Atrybut | Wartość |
| --- | --- |
| Rozpocznij crawling | `POST https://webreaderapi.com/api/v1/crawl` z `url`, `limit`, `max_depth`, `include_paths`, `exclude_paths` |
| Pobierz wyniki | `GET https://webreaderapi.com/api/v1/jobs/{job_id}`, paginowane kursorem |
| Zakres | Crawling jednej witryny na zadanie, do 10 000 stron, zgodnie z jej sitemapą, jej robots.txt i jej Crawl-delay |
| Wiele osobnych URL-i | `POST https://webreaderapi.com/api/v1/batch`: Do 100 URL-i na jedno zadanie wsadowe |
| Rozliczanie | 1 kredyt = 1 odczytana strona bez przeglądarki; 2 kredyty, gdy strona wymaga przeglądarki do wyrenderowania JavaScript. Zapytanie, które się nie powiedzie lub które zostanie odrzucone przez robots.txt witryny, nie jest obciążane opłatą |
| Właściciele stron | Respektujemy robots.txt: nasz crawler identyfikuje się jako WebReaderAPI, przestrzega reguł napisanych dla niego lub dla wszystkich robotów i nie czyta strony, której witryna zabrania. Odrzucone strony nie są obciążane opłatą |
| Cena | 14,25 USD za 50 000 stron, 50 USD za 500 000 stron |

## Jak działa zadanie crawlowania?

Crawling to zadanie działające w tle, ponieważ odczyt setek stron trwa dłużej, niż powinno jedno zapytanie HTTP.

1. **Start:** `POST https://webreaderapi.com/api/v1/crawl` z adresem startowym i Twoimi limitami. Od razu otrzymujesz `job_id`.
2. **Odkrywanie:** crawler odczytuje robots.txt i sitemap witryny, a następnie podąża za linkami w obrębie tej samej domeny, wszerz, aż do `max_depth`.
3. **Odczyt:** każda dozwolona strona jest odczytywana z tymi samymi opcjami co w `/read`: Markdown, główna treść, renderowanie, gdy jest potrzebne.
4. **Zbieranie:** odpytuj `GET https://webreaderapi.com/api/v1/jobs/{job_id}` i przeglądaj wyniki za pomocą kursora, gdy zadanie trwa lub gdy jest już `done`.

Zadanie zatrzymuje się na Twoim limicie `limit`, więc nigdy nie płacisz za więcej stron, niż zamówiłeś.

*Python: crawluj witrynę dokumentacji do plików Markdown*

```python
import os
import pathlib
import re
import time

import requests

API = "https://webreaderapi.com/api/v1"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}

job = requests.post(
    API + "/crawl",
    headers=HEADERS,
    json={"url": "https://docs.example.com/", "limit": 500, "max_depth": 4, "include_paths": ["/guide/*"]},
    timeout=60,
).json()

out = pathlib.Path("docs_md")
out.mkdir(exist_ok=True)
cursor, delay = None, 5
while True:
    params = {"cursor": cursor} if cursor else {}
    page = requests.get(API + "/jobs/" + job["job_id"], headers=HEADERS, params=params, timeout=60).json()
    for item in page.get("results", []):
        if "markdown" in item:
            name = re.sub(r"[^a-z0-9]+", "-", item["url"].lower()).strip("-")[:120]
            (out / (name + ".md")).write_text(item["markdown"], encoding="utf-8")
    cursor = page.get("next_cursor")
    if page["status"] == "done" and not cursor:
        break
    if not cursor:
        time.sleep(delay)
        delay = min(delay * 2, 60)
print("credits used:", page.get("credits_used"))

```

## Które strony odwiedza crawler, a które pomija?

Trzyma się domeny adresu startowego i pomija wszystko, czego witryna zabrania robotom. Szczegóły:

- **Tylko ta sama domena.** Linki do innych domen są wymieniane w wynikach, ale nie są odczytywane.
- **Najpierw robots.txt.** Strony zabronione dla `WebReaderAPI` lub dla wszystkich robotów są pomijane i nie są naliczane.
- **Crawl-delay respektowany.** Jeśli witryna go ustawia, crawler czeka tyle między dwiema stronami, więc duża witryna może zająć więcej czasu.
- **Twoje filtry.** `include_paths` i `exclude_paths` przyjmują proste wzorce, takie jak `/blog/*`; użyj ich, aby pominąć strony tagów, strony wyszukiwania i archiwa.
- **Duplikaty usuwane.** Ta sama strona osiągnięta przez dwa adresy URL, na przykład z parametrami śledzącymi, jest odczytywana raz, gdy witryna deklaruje kanoniczny adres URL.

## Czy powinienem użyć crawlowania czy wsadu?

Użyj crawlowania, gdy znasz witrynę, ale nie strony; użyj wsadu, gdy masz już listę adresów URL. Crawling odkrywa strony z sitemap i linków. Wsad odczytuje dokładnie te adresy URL, które wyślesz, do 100 na zadanie, w dowolnej liczbie witryn.

Do cotygodniowego odświeżania bazy wiedzy częsty wzorzec to jedno crawlowanie w celu zbudowania indeksu, a następnie wsady stron, których `lastmod` zmienił się w sitemap. Dzięki temu cotygodniowy koszt obejmuje tylko strony, które faktycznie się zmieniły.

## Ile kosztuje crawlownie witryny?

Jeden kredyt za odczytaną stronę, dwa za strony, które wymagały przeglądarki. Witryna dokumentacji z 1500 stronami renderowana na serwerze kosztuje 1500 kredytów; ta sama witryna zbudowana jako aplikacja jednostronicowa może kosztować do 3000.

Trzy typowe zadania, na październik 2026: podręcznik produktu z 300 stronami mieści się w pakiecie 10 000 stron (3,75 USD); dziesięć witryn dokumentacji po 2000 stron każda mieści się w 50 000 stron (14,25 USD); archiwum z 400 000 stronami mieści się w 500 000 stron (50 USD). Pominięte i nieudane strony są bezpłatne.

## Który pakiet pasuje do crawlowania?

Dobierz rozmiar pakietu do liczby stron, a następnie dodaj margines na strony wymagające przeglądarki. Kredyty nigdy nie wygasają, więc reszta posłuży do następnego crawlowania.

| Plan | Ilość | Cena | Cena za jednostkę |
| --- | --- | --- | --- |
| Test | 10 000 stron | 3,75 USD | 0,38 USD/1K stron |
| Starter | 50 000 stron | 14,25 USD | 0,28 USD/1K stron |
| Build | 100 000 stron | 21,75 USD | 0,22 USD/1K stron |
| Scale | 500 000 stron | 50 USD | 0,10 USD/1K stron |

W każdym planie: Wyodrębnianie głównej treści · Renderowanie JavaScript, gdy potrzebne · Nieudane i odrzucone strony bez opłat · Kredyty nigdy nie wygasają

**Zanim zapłacisz**

- Minimalne doładowanie 25 USD. Doładuj raz kryptowalutą, a następnie kup dowolny plan ze swojego salda.
- Twoje saldo nie ma daty ważności i w każdej chwili możesz kupić za nie kredyty na strony. Jeśli pakiet kosztuje mniej niż minimalne doładowanie, kwotę, którą dodałeś wyłącznie, aby osiągnąć to minimum, można zwrócić na życzenie w ciągu 30 dni od płatności, w USDT lub USDC, pod warunkiem że jej nie wydałeś. Pozostałe saldo nie podlega zwrotowi, chyba że prawo stanowi inaczej.
- Zaksięgowane po sprawdzeniu Twojej płatności w blockchainie. Typowy czas potwierdzenia w sieci: BTC ≈ 20 min · USDT TRC-20 ≈ 1 min · USDT ERC-20 ≈ 5 min · USDC ERC-20 ≈ 5 min · ETH ≈ 5 min · SOL ≈ 1 min · LTC ≈ 15 min

## Crawl API: najczęstsze pytania

### Ile stron może odczytać jedno crawlowanie?

Do 10 000 stron na zadanie, w obrębie domeny adresu startowego. W przypadku większej witryny podziel ją na kilka zadań za pomocą `include_paths`, na przykład po jednym na sekcję.

### Czy crawler korzysta z sitemap?

Tak. Odczytuje sitemap wymienioną w robots.txt lub w zwykłym miejscu, a następnie podąża za linkami na odczytywanych stronach. Strony wymienione tylko w sitemap są nadal odczytywane, jeśli robots.txt na to pozwala.

### Czy mogę crawlować witrynę, która blokuje crawery AI?

Nie z WebReaderAPI. Jeśli robots.txt zabrania naszemu crawlerowi lub wszystkim robotom, te strony są pomijane i nie są naliczane. Jeśli witryna deklaruje `Content-Signal: ai-input=no`, nie odczytujemy jej dla Ciebie. Nigdy nie próbujemy obejść takich decyzji.

### Czy mogę otrzymać wyniki, gdy crawlowanie nadal trwa?

Tak. `GET https://webreaderapi.com/api/v1/jobs/{job_id}` zwraca odczytane dotąd strony wraz z kursorem; kontynuuj stronicowanie, aż zadanie będzie w stanie `done` i nie pozostanie żaden kursor.

### Czy crawlowanie może odczytać więcej stron niż mój limit?

Nie. Kredyty są liczone strona po stronie, a zadanie zatrzymuje się, gdy osiągnie ustawiony przez Ciebie limit `limit`. Strony pominięte z powodu robots.txt oraz strony, które zakończyły się niepowodzeniem, nie zużywają kredytów.

---

WebReaderAPI: WebReaderAPI to API czytnika stron internetowych dla agentów AI, które zamienia każdą publiczną stronę internetową w czysty Markdown, z płatnością kryptowalutą i bez przesyłania dokumentów tożsamości. Przedpłacone kredyty od 0,07 USD/1K stron nigdy nie wygasają, a robots.txt jest respektowany. Bez KYC — bez dowodu, bez selfie, bez dokumentów. Płatność kryptowalutą.