# RAG için web sayfaları: siteleri temiz, parçalanabilir Markdown'a dönüştürün

> WebReaderAPI ile sayfaları temiz Markdown'a tarayın; RAG pipeline'larını besleyin. $0,07/1K sayfa'dan itibaren kripto ile ödeme, KYC yok.

- URL: https://webreaderapi.com/tr/use-cases/rag/
- Son güncelleme: 2026-10-22
- Yayıncı: WebReaderAPI (https://webreaderapi.com)

Retrieval, dizine koyduğunuz şey üzerinde çalışır. Başlıklar, metadata ve kaynak URL içeren temiz Markdown daha iyi chunk'lar, daha az harcanan token ve sayfasını atıf gösterebilen yanıtlar sağlar.

**Hızlı yanıt — Web sayfalarını bir RAG pipeline'ına nasıl alırım?**

Her sayfayı ana içeriğinin Markdown'ı olarak okuyun, başlıkları boyunca bölün, her chunk'a kaynak URL'yi ve başlığı ekleyin, sonra embed edip saklayın. **WebReaderAPI** okumayı üstlenir: sayfa başına bir istek ya da 10.000 sayfaya kadar tüm bir site için tek bir crawl işi, Ekim 2026 itibarıyla $0,07/1K sayfa'dan itibaren sayfa başına bir kredi. robots.txt'ye uyulur. KYC yok; kripto ile ödeme yapın.

## WebReaderAPI ile RAG ingestion

| Özellik | Değer |
| --- | --- |
| Tüm site | `POST https://webreaderapi.com/api/v1/crawl`: İş başına bir web sitesi tarama (crawl), 10.000 sayfaya kadar, sitemap'ini, robots.txt'ini ve Crawl-delay'ini izleyerek |
| URL listesi | `POST https://webreaderapi.com/api/v1/batch`: Toplu iş başına 100 URL'ye kadar |
| Sayfa başına | Ana içeriğin Markdown'ı, başlık, yazar, tarih, dil, kelime sayısı |
| PDF'ler | 20 MB ve 100 sayfaya kadar PDF dosyaları, başlayan her 10 sayfalık blok için 1 kredi ile Markdown'a dönüştürülür |
| Faturalandırma | 1 kredi = tarayıcı olmadan 1 sayfa okuma; sayfa JavaScript render etmek için tarayıcı gerektiriyorsa 2 kredi. Başarısız olan veya bir sitenin robots.txt'inin reddettiği istek için ücret alınmaz |
| Fiyat | 50.000 sayfa için $14,25; krediler hiç süresi dolmaz |

## Temiz Markdown neden daha iyi retrieval sağlar?

Boilerplate'ten oluşan chunk'lar kötü retrieve edilir. Bir sayfa menüleri, çerez metni ve altbilgisi hâlâ içindeyken bölündüğünde, birçok chunk aynı gezinme sözcüklerini içerir ve vektör araması bunları alakasız sorular için döndürür. Ana içerik çıkarma, embed etmeden önce bu gürültüyü kaldırır.

Başlıklar da en az bunun kadar önemlidir. `## Refund policy` ile başlayan bir chunk konusunu kendisiyle taşır, böylece hem embedding hem de onu daha sonra okuyan model neyle ilgili olduğunu bilir. Düz metin bu sinyali kaybeder; ham HTML onu işaretlemenin altında saklar.

## Bir ingestion pipeline'ı nasıl görünür?

Hangi vektör deposunu kullanırsanız kullanın, beş adım:

1. **URL'leri toplayın.** Siteyi tarayın (crawl) veya elinizdeki listeyi toplu olarak gönderin.
2. **Markdown olarak okuyun.** Makaleler ve dokümanlar için `main_content=true` kullanın; listeleme sayfaları için `false` kullanın.
3. **Başlıklara göre parçalayın.** `#`, `##` ve `###` üzerinden bölün, ardından uzun bölümleri küçük bir örtüşmeyle boyut sınırınıza göre kesin.
4. **Metadata ekleyin.** Her parça ile birlikte `url`, `title`, `published_at` ve başlık yolunu saklayın, böylece yanıtlar kaynağını belirtebilsin.
5. **Yenileyin.** Sitemap `lastmod` değişen sayfaları yeniden okuyun ve artık hata döndüren sayfaların parçalarını silin.

*Python: sayfaları okuyun ve kaynaklarıyla birlikte parçalara ayırın*

```python
import os
import re

import requests

API = "https://webreaderapi.com/api/v1/read"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}
URLS = [
    "https://docs.example.com/getting-started",
    "https://docs.example.com/billing",
]


def chunks_for(url, max_len=2000):
    page = requests.get(API, headers=HEADERS, params={"url": url}, timeout=90).json()
    if "markdown" not in page:
        return []
    out = []
    for section in re.split(r"\n(?=#{1,3} )", page["markdown"]):
        section = section.strip()
        heading = section.splitlines()[0] if section else ""
        for start in range(0, len(section), max_len):
            out.append({
                "text": section[start:start + max_len],
                "url": page.get("final_url", url),
                "title": page.get("title"),
                "heading": heading,
            })
    return out


all_chunks = [c for u in URLS for c in chunks_for(u)]
print(len(all_chunks), "chunks ready to embed")

```

## Bir indeks oluşturmak ve yenilemek ne kadar tutar?

Oluşturma, sayfa başına bir kredi, tarayıcı gerektiren sayfalar için iki kredi tutar. Yenileme yalnızca yeniden okuduğunuz sayfalar için ücretlendirilir. Ekim 2026 fiyatlarıyla üç örnek:

- **Bir ürünün 800 sayfalık yardım merkezi**, değişen sayfalar için aylık yenilenen (yaklaşık %10): bir defa 800 kredi, sonra ayda yaklaşık 80 kredi. 10.000 sayfa ($3,75) yıllarca yeter.
- **Her biri 2.000 sayfalık on dokümantasyon sitesi**, %5 oranında haftalık yenilenen: 20.000 kredi, sonra ayda yaklaşık 4.000 kredi. 50.000 sayfa ($14,25) oluşturmayı ve yedi aylık yenilemeyi kapsar.
- **Hiç değişmeyen 300.000 makalelik bir haber arşivi**: bir defa 300.000 kredi, bu da 500.000 sayfa ($50) içine sığar.

Embedding ve depolama, kendi sağlayıcılarınız tarafından faturalandırılır ve dahil değildir.

## İndekslenmek istemeyen siteleri indeksleyebilir miyim?

WebReaderAPI aracılığıyla hayır. robots.txt tarafından crawler'ımız için veya tüm robotlar için engellenen sayfalar atlanır ve ücretlendirilmez; `Content-Signal: ai-input=no` bildiren siteler sizin için okunmaz. Robotları engelleyen kendi siteleriniz veya iş ortağı siteleriniz için site sahibinden robots.txt dosyasında `WebReaderAPI` izin vermesini isteyin; [crawler sayfamız](https://webreaderapi.com/tr/bot/) eklenecek satırları gösterir.

Bu, kullanıcılarınız için de önemlidir. Kaynakları belirten bir RAG asistanı, bu kaynaklar okunmayı kabul ettiğinde daha kullanışlıdır.

## Hangi paket bir RAG projesine uyar?

İndeksi oluşturacak sayfaları sayın, aylık yenilemeyi ekleyin ve birkaç ayı kapsayan paketi seçin. Krediler hiç süresi dolmaz.

| Plan | Adet | Fiyat | Birim fiyatı |
| --- | --- | --- | --- |
| Test | 10.000 sayfa | $3,75 | $0,38/1K sayfa |
| Başlangıç | 50.000 sayfa | $14,25 | $0,28/1K sayfa |
| Oluştur | 100.000 sayfa | $21,75 | $0,22/1K sayfa |
| Ölçeklendir | 500.000 sayfa | $50 | $0,10/1K sayfa |

Tüm planlarda: Ana içeriği çıkarma · Gerektiğinde JavaScript oluşturma · Başarısız ve reddedilen sayfalar ücretlendirilmez · Krediler hiç sona ermez

**Ödeme yapmadan önce**

- Minimum bakiye yükleme $25. Kripto ile bir kez para yükleyin, ardından bakiyenizden istediğiniz planı satın alın.
- Bakiyenizin son kullanma tarihi yoktur ve istediğiniz zaman sayfa kredisi satın alabilirsiniz. Bir paket minimum yükleme tutarından daha ucuza geliyorsa, yalnızca bu minimuma ulaşmak için eklediğiniz tutar, harcamadığınız sürece ödeme tarihinden itibaren 30 gün içinde talep üzerine USDT veya USDC olarak iade edilebilir. Diğer bakiyeler, yasa aksini gerektirmedikçe iade edilmez.
- Ödemeniz blokzincirde kontrol edildiğinde bakiyenize aktarılır. Tipik ağ onay süresi: BTC ≈ 20 dk · USDT TRC-20 ≈ 1 dk · USDT ERC-20 ≈ 5 dk · USDC ERC-20 ≈ 5 dk · ETH ≈ 5 dk · SOL ≈ 1 dk · LTC ≈ 15 dk

## RAG ingestion: sık sorulan sorular

### Hangi parça boyutunu kullanmalıyım?

Önce başlıklardan bölün, ardından yaklaşık 500 ila 1.000 token'dan uzun bölümleri küçük bir örtüşmeyle kesin. Başlığa dayalı parçalar her biri tek bir konuyu korur; bu genellikle tüm sayfa üzerinde sabit boyutlu pencerelerden daha iyi getirir.

### WebReaderAPI embedding oluşturur veya vektör saklar mı?

Hayır. WebReaderAPI sayfaları okur ve metadata ile Markdown döndürür. Seçtiğiniz modelle embedding oluşturur ve kendi vektör veritabanınızda saklarsınız; [LangChain ve LlamaIndex sayfası](https://webreaderapi.com/tr/docs/langchain/) ikisini de gösterir.

### İndeksi nasıl güncel tutarım?

Yalnızca değişen sayfaları yeniden okuyun. Çoğu sitemap her URL için bir `lastmod` tarihi taşır; bunu son okumanızla karşılaştırın ve değişen URL'leri toplu olarak gönderin. Artık başarısız olan sayfalar indeksten çıkarılmalıdır.

### Aynı siteden PDF'leri dahil edebilir miyim?

Evet. Bir tarama (crawl), aynı alan adındaki PDF bağlantılarını aynı robots.txt kontrolleriyle okur. 20 MB ve 100 sayfaya kadar PDF dosyaları, başlayan her 10 sayfalık blok için 1 kredi ile Markdown'a dönüştürülür.

---

WebReaderAPI: WebReaderAPI, AI ajanları için bir web reader API'sidir; herkese açık herhangi bir web sayfasını temiz Markdown'a dönüştürür ve kimlik yüklemeden kripto ile ödenir. $0,07/1K sayfa başlangıçlı ön ödemeli kreditler asla süresi dolmaz ve robots.txt'e uyulur. KYC yok — kimlik yok, selfie yok, belge yok. Kripto ile ödeme yapın.