# Crawl API: bütün bir web sitesini Markdown dosyalarına dönüştürün

> RAG için siteyi Markdown'a çeviren Crawl API: iş başına 10.000 sayfaya kadar, sitemap ve robots.txt takip edilir, $0,07/1K sayfa'dan başlar. Kripto.

- URL: https://webreaderapi.com/tr/crawl-api/
- Son güncelleme: 2026-10-22
- Yayıncı: WebReaderAPI (https://webreaderapi.com)

Bir başlangıç URL'si ve bir sayfa limiti verin. Tarayıcı, sitenin sitemap'ini ve aynı alan adındaki bağlantıları takip eder, her sayfayı Markdown olarak okur ve sonuçları sayfa sayfa size verir. Sayfa başına bir kredi.

**Hızlı yanıt — Bütün bir web sitesini nasıl tarayıp her sayfayı Markdown olarak alabilirim?**

Bir crawl API kullanın: bir başlangıç URL'si ve bir limit gönderirsiniz, o da sitenin her sayfasını Markdown olarak döndürür. **WebReaderAPI** tek bir alan adında iş başına 10.000 sayfaya kadar tarar, sitemap'i, robots.txt'yi ve Crawl-delay'i takip eder ve okunan sayfa başına bir kredi ücretlendirir; Ekim 2026 itibarıyla $0,07/1K sayfa'dan başlayarak. robots.txt tarafından reddedilen sayfalar ücretsizdir. KYC yok; kripto ile ödeme.

## Crawl API'ye genel bakış

| Özellik | Değer |
| --- | --- |
| Bir tarama başlatın | `url`, `limit`, `max_depth`, `include_paths`, `exclude_paths` ile `POST https://webreaderapi.com/api/v1/crawl` |
| Sonuçları alın | `GET https://webreaderapi.com/api/v1/jobs/{job_id}`, bir cursor ile sayfalanmış |
| Kapsam | İş başına bir web sitesi tarama (crawl), 10.000 sayfaya kadar, sitemap'ini, robots.txt'ini ve Crawl-delay'ini izleyerek |
| Birçok ayrı URL | `POST https://webreaderapi.com/api/v1/batch`: Toplu iş başına 100 URL'ye kadar |
| Faturalandırma | 1 kredi = tarayıcı olmadan 1 sayfa okuma; sayfa JavaScript render etmek için tarayıcı gerektiriyorsa 2 kredi. Başarısız olan veya bir sitenin robots.txt'inin reddettiği istek için ücret alınmaz |
| Site sahipleri | robots.txt'e uyarız: crawler'ımız kendini WebReaderAPI olarak tanıtır, kendisi için veya tüm robotlar için yazılmış kurallara uyar ve bir sitenin izin vermediği sayfayı okumaz. Reddedilen sayfalar için ücret alınmaz |
| Fiyat | 50.000 sayfa için $14,25, 500.000 sayfa için $50 |

## Bir tarama (crawl) işi nasıl çalışır?

Tarama arka planda çalışan bir iştir, çünkü yüzlerce sayfayı okumak tek bir HTTP isteğinin sürmesi gerekenden daha uzun sürer.

1. **Başlat:** başlangıç URL'si ve limitlerinizle `POST https://webreaderapi.com/api/v1/crawl`. Hemen bir `job_id` alırsınız.
2. **Keşfet:** tarayıcı sitenin robots.txt ve sitemap dosyasını okur, ardından aynı alan adı içindeki bağlantıları genişlik öncelikli olarak, `max_depth` sınırına kadar takip eder.
3. **Oku:** izin verilen her sayfa `/read` ile aynı seçeneklerle okunur: Markdown, ana içerik, gerektiğinde render.
4. **Topla:** iş çalışırken `GET https://webreaderapi.com/api/v1/jobs/{job_id}` sorgulayıp sonuçlar arasında imleçle sayfa sayfa ilerleyin, ya da iş `done` olduğunda bir kez sorgulayın.

İş `limit` sınırınızda durur, böylece talep ettiğinizden fazla sayfa için asla ödeme yapmazsınız.

*Python: bir dokümantasyon sitesini Markdown dosyalarına tarayın*

```python
import os
import pathlib
import re
import time

import requests

API = "https://webreaderapi.com/api/v1"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}

job = requests.post(
    API + "/crawl",
    headers=HEADERS,
    json={"url": "https://docs.example.com/", "limit": 500, "max_depth": 4, "include_paths": ["/guide/*"]},
    timeout=60,
).json()

out = pathlib.Path("docs_md")
out.mkdir(exist_ok=True)
cursor, delay = None, 5
while True:
    params = {"cursor": cursor} if cursor else {}
    page = requests.get(API + "/jobs/" + job["job_id"], headers=HEADERS, params=params, timeout=60).json()
    for item in page.get("results", []):
        if "markdown" in item:
            name = re.sub(r"[^a-z0-9]+", "-", item["url"].lower()).strip("-")[:120]
            (out / (name + ".md")).write_text(item["markdown"], encoding="utf-8")
    cursor = page.get("next_cursor")
    if page["status"] == "done" and not cursor:
        break
    if not cursor:
        time.sleep(delay)
        delay = min(delay * 2, 60)
print("credits used:", page.get("credits_used"))

```

## Tarayıcı hangi sayfaları ziyaret eder, hangilerini atlar?

Başlangıç URL'sinin alan adı içinde kalır ve sitenin robotların dokunmamasını istediği her şeyi atlar. Ayrıntılı olarak:

- **Yalnızca aynı alan adı.** Diğer alan adlarına giden bağlantılar sonuçlarda listelenir ama okunmaz.
- **Önce robots.txt.** `WebReaderAPI` için veya tüm robotlar için yasaklanan sayfalar atlanır ve ücretlendirilmez.
- **Crawl-delay'e uyulur.** Site bir crawl-delay belirlemişse, tarayıcı iki sayfa arasında o kadar bekler, bu yüzden büyük bir site daha uzun sürebilir.
- **Sizin filtreleriniz.** `include_paths` ve `exclude_paths`, `/blog/*` gibi basit desenler alır; etiket sayfalarından, arama sayfalarından ve arşivlerden kaçınmak için bunları kullanın.
- **Yinelenenler kaldırılır.** Aynı sayfaya iki URL'den ulaşıldığında, örneğin takip parametreleriyle, site bir canonical URL belirtiyorsa sayfa bir kez okunur.

## Tarama mı kullanmalıyım yoksa toplu iş mi?

Siteyi biliyor ama sayfaları bilmiyorsanız tarama kullanın; URL listesi zaten elinizdeyse toplu iş kullanın. Tarama, sayfaları sitemap'ten ve bağlantılardan keşfeder.

Toplu iş ise tam olarak gönderdiğiniz URL'leri okur, iş başına 100'e kadar, istediğiniz sayıda sitede. Bir bilgi tabanını haftalık yenilemek için yaygın bir yöntem önce indeksi kurmak için bir tarama yapmak, ardından sitemap'te `lastmod` değişen sayfaların toplu işlerini göndermektir.

Bu, haftalık maliyeti yalnızca gerçekten değişen sayfalarla sınırlar.

## Bir siteyi taramak ne kadar tutar?

Okunan sayfa başına bir kredi, tarayıcı gerektiren sayfalar için iki kredi. Sunucuda render edilen 1.500 sayfalık bir dokümantasyon sitesi 1.500 kredi tutar; tek sayfa uygulaması (single-page app) olarak kurulmuş aynı site 3.000'e kadar tutabilir.

Üç tipik iş, Ekim 2026 itibarıyla: 300 sayfalık bir ürün kılavuzu 10.000 sayfa paketine sığar ($3,75); her biri 2.000 sayfalık on dokümantasyon sitesi 50.000 sayfa içine sığar ($14,25); 400.000 sayfalık bir arşiv 500.000 sayfa içine sığar ($50). Atlanan ve başarısız sayfalar ücretsizdir.

## Hangi paket bir taramaya uyar?

Paketi sayfa sayısına göre boyutlandırın, ardından tarayıcı gerektiren sayfalar için bir pay ekleyin. Krediler süresi dolmadan geçmez, bu yüzden kalan kısım bir sonraki taramaya hizmet eder.

| Plan | Adet | Fiyat | Birim fiyatı |
| --- | --- | --- | --- |
| Test | 10.000 sayfa | $3,75 | $0,38/1K sayfa |
| Başlangıç | 50.000 sayfa | $14,25 | $0,28/1K sayfa |
| Oluştur | 100.000 sayfa | $21,75 | $0,22/1K sayfa |
| Ölçeklendir | 500.000 sayfa | $50 | $0,10/1K sayfa |

Tüm planlarda: Ana içeriği çıkarma · Gerektiğinde JavaScript oluşturma · Başarısız ve reddedilen sayfalar ücretlendirilmez · Krediler hiç sona ermez

**Ödeme yapmadan önce**

- Minimum bakiye yükleme $25. Kripto ile bir kez para yükleyin, ardından bakiyenizden istediğiniz planı satın alın.
- Bakiyenizin son kullanma tarihi yoktur ve istediğiniz zaman sayfa kredisi satın alabilirsiniz. Bir paket minimum yükleme tutarından daha ucuza geliyorsa, yalnızca bu minimuma ulaşmak için eklediğiniz tutar, harcamadığınız sürece ödeme tarihinden itibaren 30 gün içinde talep üzerine USDT veya USDC olarak iade edilebilir. Diğer bakiyeler, yasa aksini gerektirmedikçe iade edilmez.
- Ödemeniz blokzincirde kontrol edildiğinde bakiyenize aktarılır. Tipik ağ onay süresi: BTC ≈ 20 dk · USDT TRC-20 ≈ 1 dk · USDT ERC-20 ≈ 5 dk · USDC ERC-20 ≈ 5 dk · ETH ≈ 5 dk · SOL ≈ 1 dk · LTC ≈ 15 dk

## Crawl API: sık sorulan sorular

### Bir tarama kaç sayfa okuyabilir?

İş başına 10.000 sayfaya kadar, başlangıç URL'sinin alan adı içinde. Daha büyük bir site için `include_paths` ile birden fazla işe bölün, örneğin her bölüm için bir iş.

### Tarayıcı sitemap'i kullanıyor mu?

Evet. robots.txt içinde listelenen veya olağan konumdaki sitemap dosyasını okur, ardından okuduğu sayfalardaki bağlantıları takip eder. Yalnızca sitemap'te listelenen sayfalar, robots.txt izin veriyorsa yine de okunur.

### AI tarayıcılarını engelleyen bir siteyi tarayabilir miyim?

WebReaderAPI ile hayır. robots.txt tarayıcımızı veya tüm robotları yasaklıyorsa, o sayfalar atlanır ve ücretlendirilmez. Site `Content-Signal: ai-input=no` belirtiyorsa, sizin için onu okumayız. Bu tür tercihleri asla aşmaya çalışmayız.

### Tarama hâlâ çalışırken sonuçları alabilir miyim?

Evet. `GET https://webreaderapi.com/api/v1/jobs/{job_id}` o ana kadar okunan sayfaları bir imleçle döndürür; iş `done` olana ve imleç kalmayana kadar sayfa sayfa ilerlemeye devam edin.

### Bir tarama limitimden fazla sayfa okuyabilir mi?

Hayır. Krediler sayfa sayfa sayılır ve iş, belirlediğiniz `limit` sınırına ulaştığında durur. robots.txt nedeniyle atladığı sayfalar ve başarısız olan sayfalar kredi kullanmaz.

---

WebReaderAPI: WebReaderAPI, AI ajanları için bir web reader API'sidir; herkese açık herhangi bir web sayfasını temiz Markdown'a dönüştürür ve kimlik yüklemeden kripto ile ödenir. $0,07/1K sayfa başlangıçlı ön ödemeli kreditler asla süresi dolmaz ve robots.txt'e uyulur. KYC yok — kimlik yok, selfie yok, belge yok. Kripto ile ödeme yapın.