Test
10.000 sayfa
$3,75
$0,38/1K sayfa
- Gerçek URL'lerinizde deneyin
- En büyük paketle aynı API
- Krediler hiç sona ermez
Hızlı yanıt
Bütün bir web sitesini nasıl tarayıp her sayfayı Markdown olarak alabilirim?
Bir crawl API kullanın: bir başlangıç URL'si ve bir limit gönderirsiniz, o da sitenin her sayfasını Markdown olarak döndürür. WebReaderAPI tek bir alan adında iş başına 10.000 sayfaya kadar tarar, sitemap'i, robots.txt'yi ve Crawl-delay'i takip eder ve okunan sayfa başına bir kredi ücretlendirir; Ekim 2026 itibarıyla $0,07/1K sayfa'dan başlayarak. robots.txt tarafından reddedilen sayfalar ücretsizdir. KYC yok; kripto ile ödeme.
Crawl API'ye genel bakış
| Bir tarama başlatın | url, limit, max_depth, include_paths, exclude_paths ile POST https://webreaderapi.com/api/v1/crawl |
|---|---|
| Sonuçları alın | GET https://webreaderapi.com/api/v1/jobs/{job_id}, bir cursor ile sayfalanmış |
| Kapsam | İş başına bir web sitesi tarama (crawl), 10.000 sayfaya kadar, sitemap'ini, robots.txt'ini ve Crawl-delay'ini izleyerek |
| Birçok ayrı URL | POST https://webreaderapi.com/api/v1/batch: Toplu iş başına 100 URL'ye kadar |
| Faturalandırma | 1 kredi = tarayıcı olmadan 1 sayfa okuma; sayfa JavaScript render etmek için tarayıcı gerektiriyorsa 2 kredi. Başarısız olan veya bir sitenin robots.txt'inin reddettiği istek için ücret alınmaz |
| Site sahipleri | robots.txt'e uyarız: crawler'ımız kendini WebReaderAPI olarak tanıtır, kendisi için veya tüm robotlar için yazılmış kurallara uyar ve bir sitenin izin vermediği sayfayı okumaz. Reddedilen sayfalar için ücret alınmaz |
| Fiyat | 50.000 sayfa için $14,25, 500.000 sayfa için $50 |
Bir tarama (crawl) işi nasıl çalışır?
Tarama arka planda çalışan bir iştir, çünkü yüzlerce sayfayı okumak tek bir HTTP isteğinin sürmesi gerekenden daha uzun sürer.
- Başlat: başlangıç URL'si ve limitlerinizle
POST https://webreaderapi.com/api/v1/crawl. Hemen birjob_idalırsınız. - Keşfet: tarayıcı sitenin robots.txt ve sitemap dosyasını okur, ardından aynı alan adı içindeki bağlantıları genişlik öncelikli olarak,
max_depthsınırına kadar takip eder. - Oku: izin verilen her sayfa
/readile aynı seçeneklerle okunur: Markdown, ana içerik, gerektiğinde render. - Topla: iş çalışırken
GET https://webreaderapi.com/api/v1/jobs/{job_id}sorgulayıp sonuçlar arasında imleçle sayfa sayfa ilerleyin, ya da işdoneolduğunda bir kez sorgulayın.
İş limit sınırınızda durur, böylece talep ettiğinizden fazla sayfa için asla ödeme yapmazsınız.
import os
import pathlib
import re
import time
import requests
API = "https://webreaderapi.com/api/v1"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}
job = requests.post(
API + "/crawl",
headers=HEADERS,
json={"url": "https://docs.example.com/", "limit": 500, "max_depth": 4, "include_paths": ["/guide/*"]},
timeout=60,
).json()
out = pathlib.Path("docs_md")
out.mkdir(exist_ok=True)
cursor, delay = None, 5
while True:
params = {"cursor": cursor} if cursor else {}
page = requests.get(API + "/jobs/" + job["job_id"], headers=HEADERS, params=params, timeout=60).json()
for item in page.get("results", []):
if "markdown" in item:
name = re.sub(r"[^a-z0-9]+", "-", item["url"].lower()).strip("-")[:120]
(out / (name + ".md")).write_text(item["markdown"], encoding="utf-8")
cursor = page.get("next_cursor")
if page["status"] == "done" and not cursor:
break
if not cursor:
time.sleep(delay)
delay = min(delay * 2, 60)
print("credits used:", page.get("credits_used"))
Tarayıcı hangi sayfaları ziyaret eder, hangilerini atlar?
Başlangıç URL'sinin alan adı içinde kalır ve sitenin robotların dokunmamasını istediği her şeyi atlar. Ayrıntılı olarak:
- Yalnızca aynı alan adı. Diğer alan adlarına giden bağlantılar sonuçlarda listelenir ama okunmaz.
- Önce robots.txt.
WebReaderAPIiçin veya tüm robotlar için yasaklanan sayfalar atlanır ve ücretlendirilmez. - Crawl-delay'e uyulur. Site bir crawl-delay belirlemişse, tarayıcı iki sayfa arasında o kadar bekler, bu yüzden büyük bir site daha uzun sürebilir.
- Sizin filtreleriniz.
include_pathsveexclude_paths,/blog/*gibi basit desenler alır; etiket sayfalarından, arama sayfalarından ve arşivlerden kaçınmak için bunları kullanın. - Yinelenenler kaldırılır. Aynı sayfaya iki URL'den ulaşıldığında, örneğin takip parametreleriyle, site bir canonical URL belirtiyorsa sayfa bir kez okunur.
Tarama mı kullanmalıyım yoksa toplu iş mi?
Siteyi biliyor ama sayfaları bilmiyorsanız tarama kullanın; URL listesi zaten elinizdeyse toplu iş kullanın. Tarama, sayfaları sitemap'ten ve bağlantılardan keşfeder.
Toplu iş ise tam olarak gönderdiğiniz URL'leri okur, iş başına 100'e kadar, istediğiniz sayıda sitede. Bir bilgi tabanını haftalık yenilemek için yaygın bir yöntem önce indeksi kurmak için bir tarama yapmak, ardından sitemap'te lastmod değişen sayfaların toplu işlerini göndermektir.
Bu, haftalık maliyeti yalnızca gerçekten değişen sayfalarla sınırlar.
Bir siteyi taramak ne kadar tutar?
Okunan sayfa başına bir kredi, tarayıcı gerektiren sayfalar için iki kredi. Sunucuda render edilen 1.500 sayfalık bir dokümantasyon sitesi 1.500 kredi tutar; tek sayfa uygulaması (single-page app) olarak kurulmuş aynı site 3.000'e kadar tutabilir.
Üç tipik iş, Ekim 2026 itibarıyla: 300 sayfalık bir ürün kılavuzu 10.000 sayfa paketine sığar ($3,75); her biri 2.000 sayfalık on dokümantasyon sitesi 50.000 sayfa içine sığar ($14,25); 400.000 sayfalık bir arşiv 500.000 sayfa içine sığar ($50). Atlanan ve başarısız sayfalar ücretsizdir.
Hangi paket bir taramaya uyar?
Paketi sayfa sayısına göre boyutlandırın, ardından tarayıcı gerektiren sayfalar için bir pay ekleyin. Krediler süresi dolmadan geçmez, bu yüzden kalan kısım bir sonraki taramaya hizmet eder.
Başlangıç
50.000 sayfa
$14,25
$0,28/1K sayfa
- Bir AI agent veya RAG prototipi
- Bir dokümantasyon sitesini tarama (crawl)
- Krediler hiç sona ermez
Oluştur
100.000 sayfa
$21,75
$0,22/1K sayfa
- Üretim agent'ları ve RAG pipeline'ları
- Toplu ve tarama (crawl) işleri
- Krediler hiç sona ermez
Ölçeklendir
500.000 sayfa
$50
$0,10/1K sayfa
- Büyük bilgi tabanları
- Talep üzerine daha yüksek eşzamanlılık
- Krediler hiç sona ermez
Tüm planlarda: Ana içeriği çıkarma · Gerektiğinde JavaScript oluşturma · Başarısız ve reddedilen sayfalar ücretlendirilmez · Krediler hiç sona ermez
Crawl API: sık sorulan sorular
Bir tarama kaç sayfa okuyabilir?
İş başına 10.000 sayfaya kadar, başlangıç URL'sinin alan adı içinde. Daha büyük bir site için include_paths ile birden fazla işe bölün, örneğin her bölüm için bir iş.
Tarayıcı sitemap'i kullanıyor mu?
Evet. robots.txt içinde listelenen veya olağan konumdaki sitemap dosyasını okur, ardından okuduğu sayfalardaki bağlantıları takip eder. Yalnızca sitemap'te listelenen sayfalar, robots.txt izin veriyorsa yine de okunur.
AI tarayıcılarını engelleyen bir siteyi tarayabilir miyim?
WebReaderAPI ile hayır. robots.txt tarayıcımızı veya tüm robotları yasaklıyorsa, o sayfalar atlanır ve ücretlendirilmez. Site Content-Signal: ai-input=no belirtiyorsa, sizin için onu okumayız. Bu tür tercihleri asla aşmaya çalışmayız.
Tarama hâlâ çalışırken sonuçları alabilir miyim?
Evet. GET https://webreaderapi.com/api/v1/jobs/{job_id} o ana kadar okunan sayfaları bir imleçle döndürür; iş done olana ve imleç kalmayana kadar sayfa sayfa ilerlemeye devam edin.
Bir tarama limitimden fazla sayfa okuyabilir mi?
Hayır. Krediler sayfa sayfa sayılır ve iş, belirlediğiniz limit sınırına ulaştığında durur. robots.txt nedeniyle atladığı sayfalar ve başarısız olan sayfalar kredi kullanmaz.