Test
10.000 sayfa
$3,75
$0,38/1K sayfa
- Gerçek URL'lerinizde deneyin
- En büyük paketle aynı API
- Krediler hiç sona ermez
Hızlı yanıt
Web sayfalarını bir RAG pipeline'ına nasıl alırım?
Her sayfayı ana içeriğinin Markdown'ı olarak okuyun, başlıkları boyunca bölün, her chunk'a kaynak URL'yi ve başlığı ekleyin, sonra embed edip saklayın. WebReaderAPI okumayı üstlenir: sayfa başına bir istek ya da 10.000 sayfaya kadar tüm bir site için tek bir crawl işi, Ekim 2026 itibarıyla $0,07/1K sayfa'dan itibaren sayfa başına bir kredi. robots.txt'ye uyulur. KYC yok; kripto ile ödeme yapın.
WebReaderAPI ile RAG ingestion
| Tüm site | POST https://webreaderapi.com/api/v1/crawl: İş başına bir web sitesi tarama (crawl), 10.000 sayfaya kadar, sitemap'ini, robots.txt'ini ve Crawl-delay'ini izleyerek |
|---|---|
| URL listesi | POST https://webreaderapi.com/api/v1/batch: Toplu iş başına 100 URL'ye kadar |
| Sayfa başına | Ana içeriğin Markdown'ı, başlık, yazar, tarih, dil, kelime sayısı |
| PDF'ler | 20 MB ve 100 sayfaya kadar PDF dosyaları, başlayan her 10 sayfalık blok için 1 kredi ile Markdown'a dönüştürülür |
| Faturalandırma | 1 kredi = tarayıcı olmadan 1 sayfa okuma; sayfa JavaScript render etmek için tarayıcı gerektiriyorsa 2 kredi. Başarısız olan veya bir sitenin robots.txt'inin reddettiği istek için ücret alınmaz |
| Fiyat | 50.000 sayfa için $14,25; krediler hiç süresi dolmaz |
Temiz Markdown neden daha iyi retrieval sağlar?
Boilerplate'ten oluşan chunk'lar kötü retrieve edilir. Bir sayfa menüleri, çerez metni ve altbilgisi hâlâ içindeyken bölündüğünde, birçok chunk aynı gezinme sözcüklerini içerir ve vektör araması bunları alakasız sorular için döndürür. Ana içerik çıkarma, embed etmeden önce bu gürültüyü kaldırır.
Başlıklar da en az bunun kadar önemlidir. ## Refund policy ile başlayan bir chunk konusunu kendisiyle taşır, böylece hem embedding hem de onu daha sonra okuyan model neyle ilgili olduğunu bilir. Düz metin bu sinyali kaybeder; ham HTML onu işaretlemenin altında saklar.
Bir ingestion pipeline'ı nasıl görünür?
Hangi vektör deposunu kullanırsanız kullanın, beş adım:
- URL'leri toplayın. Siteyi tarayın (crawl) veya elinizdeki listeyi toplu olarak gönderin.
- Markdown olarak okuyun. Makaleler ve dokümanlar için
main_content=truekullanın; listeleme sayfaları içinfalsekullanın. - Başlıklara göre parçalayın.
#,##ve###üzerinden bölün, ardından uzun bölümleri küçük bir örtüşmeyle boyut sınırınıza göre kesin. - Metadata ekleyin. Her parça ile birlikte
url,title,published_atve başlık yolunu saklayın, böylece yanıtlar kaynağını belirtebilsin. - Yenileyin. Sitemap
lastmoddeğişen sayfaları yeniden okuyun ve artık hata döndüren sayfaların parçalarını silin.
import os
import re
import requests
API = "https://webreaderapi.com/api/v1/read"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}
URLS = [
"https://docs.example.com/getting-started",
"https://docs.example.com/billing",
]
def chunks_for(url, max_len=2000):
page = requests.get(API, headers=HEADERS, params={"url": url}, timeout=90).json()
if "markdown" not in page:
return []
out = []
for section in re.split(r"\n(?=#{1,3} )", page["markdown"]):
section = section.strip()
heading = section.splitlines()[0] if section else ""
for start in range(0, len(section), max_len):
out.append({
"text": section[start:start + max_len],
"url": page.get("final_url", url),
"title": page.get("title"),
"heading": heading,
})
return out
all_chunks = [c for u in URLS for c in chunks_for(u)]
print(len(all_chunks), "chunks ready to embed")
Bir indeks oluşturmak ve yenilemek ne kadar tutar?
Oluşturma, sayfa başına bir kredi, tarayıcı gerektiren sayfalar için iki kredi tutar. Yenileme yalnızca yeniden okuduğunuz sayfalar için ücretlendirilir. Ekim 2026 fiyatlarıyla üç örnek:
- Bir ürünün 800 sayfalık yardım merkezi, değişen sayfalar için aylık yenilenen (yaklaşık %10): bir defa 800 kredi, sonra ayda yaklaşık 80 kredi. 10.000 sayfa ($3,75) yıllarca yeter.
- Her biri 2.000 sayfalık on dokümantasyon sitesi, %5 oranında haftalık yenilenen: 20.000 kredi, sonra ayda yaklaşık 4.000 kredi. 50.000 sayfa ($14,25) oluşturmayı ve yedi aylık yenilemeyi kapsar.
- Hiç değişmeyen 300.000 makalelik bir haber arşivi: bir defa 300.000 kredi, bu da 500.000 sayfa ($50) içine sığar.
Embedding ve depolama, kendi sağlayıcılarınız tarafından faturalandırılır ve dahil değildir.
İndekslenmek istemeyen siteleri indeksleyebilir miyim?
WebReaderAPI aracılığıyla hayır. robots.txt tarafından crawler'ımız için veya tüm robotlar için engellenen sayfalar atlanır ve ücretlendirilmez; Content-Signal: ai-input=no bildiren siteler sizin için okunmaz. Robotları engelleyen kendi siteleriniz veya iş ortağı siteleriniz için site sahibinden robots.txt dosyasında WebReaderAPI izin vermesini isteyin; crawler sayfamız eklenecek satırları gösterir.
Bu, kullanıcılarınız için de önemlidir. Kaynakları belirten bir RAG asistanı, bu kaynaklar okunmayı kabul ettiğinde daha kullanışlıdır.
Hangi paket bir RAG projesine uyar?
İndeksi oluşturacak sayfaları sayın, aylık yenilemeyi ekleyin ve birkaç ayı kapsayan paketi seçin. Krediler hiç süresi dolmaz.
Başlangıç
50.000 sayfa
$14,25
$0,28/1K sayfa
- Bir AI agent veya RAG prototipi
- Bir dokümantasyon sitesini tarama (crawl)
- Krediler hiç sona ermez
Oluştur
100.000 sayfa
$21,75
$0,22/1K sayfa
- Üretim agent'ları ve RAG pipeline'ları
- Toplu ve tarama (crawl) işleri
- Krediler hiç sona ermez
Ölçeklendir
500.000 sayfa
$50
$0,10/1K sayfa
- Büyük bilgi tabanları
- Talep üzerine daha yüksek eşzamanlılık
- Krediler hiç sona ermez
Tüm planlarda: Ana içeriği çıkarma · Gerektiğinde JavaScript oluşturma · Başarısız ve reddedilen sayfalar ücretlendirilmez · Krediler hiç sona ermez
RAG ingestion: sık sorulan sorular
Hangi parça boyutunu kullanmalıyım?
Önce başlıklardan bölün, ardından yaklaşık 500 ila 1.000 token'dan uzun bölümleri küçük bir örtüşmeyle kesin. Başlığa dayalı parçalar her biri tek bir konuyu korur; bu genellikle tüm sayfa üzerinde sabit boyutlu pencerelerden daha iyi getirir.
WebReaderAPI embedding oluşturur veya vektör saklar mı?
Hayır. WebReaderAPI sayfaları okur ve metadata ile Markdown döndürür. Seçtiğiniz modelle embedding oluşturur ve kendi vektör veritabanınızda saklarsınız; LangChain ve LlamaIndex sayfası ikisini de gösterir.
İndeksi nasıl güncel tutarım?
Yalnızca değişen sayfaları yeniden okuyun. Çoğu sitemap her URL için bir lastmod tarihi taşır; bunu son okumanızla karşılaştırın ve değişen URL'leri toplu olarak gönderin. Artık başarısız olan sayfalar indeksten çıkarılmalıdır.
Aynı siteden PDF'leri dahil edebilir miyim?
Evet. Bir tarama (crawl), aynı alan adındaki PDF bağlantılarını aynı robots.txt kontrolleriyle okur. 20 MB ve 100 sayfaya kadar PDF dosyaları, başlayan her 10 sayfalık blok için 1 kredi ile Markdown'a dönüştürülür.