Test
10.000 sayfa
$3,75
$0,38/1K sayfa
- Gerçek URL'lerinizde deneyin
- En büyük paketle aynı API
- Krediler hiç sona ermez
Hızlı yanıt
Bir AI agent'a web fetch aracı vermenin en iyi yolu nedir?
Bir web reader API'sini, bir URL alıp sayfanın ana içeriğini belirli bir uzunluğa kısaltılmış Markdown olarak döndüren bir araç olarak sarmalayın. WebReaderAPI okumayı yapar, gerektiğinde JavaScript'i render eder, robots.txt'ye uyar ve Ekim 2026 itibarıyla $0,07/1K sayfa'dan itibaren sayfa başına bir kredi alır. Hazır araç kodu MCP, OpenAI function calling, LangChain, n8n ve OpenClaw'u kapsar. KYC yok; kripto.
WebReaderAPI bir agent aracı olarak
| Araç | https://webreaderapi.com/api/v1/read çağıran read_url(url, max_chars) |
|---|---|
| Döndürür | Ana içeriğin Markdown'ı, ayrıca başlık, yazar, tarih ve kelime sayısı |
| Uzunluk sınırı | max_chars, sayfa başına 1.000 ile 500.000 karakter |
| JavaScript sayfaları | Sayfa gerektirdiğinde headless tarayıcıda JavaScript render (render=auto), ya da her zaman veya hiç |
| Reddetmeler | Net hatalar olarak döndürülür, asla ücret alınmaz |
| Entegrasyonlar | MCP, OpenAI, LangChain ve LlamaIndex, n8n, OpenClaw |
| Fiyat | 10.000 sayfa için $3,75; krediler hiç süresi dolmaz |
Bir agent neden ham HTML yerine bir okuyucuya ihtiyaç duyar?
Çünkü ham HTML, bağlam penceresini modelin ihtiyaç duymadığı şeylere harcar. Bir haber makalesi ya da dokümantasyon sayfası; menüler, scriptler, çerez onay bannerları ve ilgili bağlantılarla sarmalanmış olarak gelir. Olduğu gibi aktarıldığında sohbeti bastırır ve modelin menüleri alıntılamasına yol açar.
Bir okuyucu üç sorunu birden çözer. Yalnızca ana içeriği tutar, JavaScript çalışana kadar boş kalan sayfaları işler ve PDF'leri metne dönüştürür. Agent, başlığı ve alıntılayabileceği bir tarihi olan tek ve kompakt bir Markdown bloğu alır.
Yerleşik fetch araçları neden bazen başarısız olur?
Çoğunlukla siteler otomatik trafiği reddettiği için. 1 Temmuz 2025'ten bu yana Cloudflare, yeni alan adları için AI tarayıcılarını varsayılan olarak engelliyor ve 15 Eylül 2026'dan itibaren hazır ayarları, yeni alan adlarının reklam destekli sayfalarında "Agent" trafiğini engelliyor. Kodlama agent'larındaki ve asistanlardaki yerleşik araçlar da bu redlerle herhangi bir istemci gibi karşılaşıyor.
Diğer başarısızlıklar teknik. OpenClaw'un 22 Ekim 2026'da okunan dokümantasyonuna göre, yerleşik web_fetch aracı içeriği Readability ile çıkarıyor, JavaScript çalıştırmıyor ve çıktıyı 20.000 karakterle sınırlandırıyor. Tarayıcıda oluşturulan sayfalar, uzun belgeler, yavaş sunucular ve rate limit'ler bu tür araçları hep takıyor. Sayfaları işleyen bir okuyucu JavaScript durumunu çözer; önbelleğe alma ve sabır geri kalanını çözer. Redler site sahibinin kararı. web fetch 403 hataları rehberimiz her durumu açıklıyor.
Araç neden web_fetch değil de read_url olarak adlandırılıyor?
Agent'ların zaten sahip olduğu araçlarla çakışmayı önlemek için. Claude Code ve OpenClaw'ın ikisi de web_fetch adında yerleşik bir araç sunuyor. Aynı adı taşıyan ikinci bir araç, modelin hangisini çağırdığı konusunda kafasını karıştırıyor. Bizimkini read_url olarak adlandırmak ikisini de kullanılabilir tutuyor: agent hızlı kontroller için yerleşik fetcher'ını, temiz Markdown, PDF ya da JavaScript sayfaları gerektiğinde read_url aracını kullanabilir.
Dokümantasyon sayfalarımızdaki araç tanımlarının tümü bu adı kullanıyor; böylece prompt'larınızı değiştirmeden framework'ler arasında geçiş yapabilirsiniz.
import os
import requests
API = "https://webreaderapi.com/api/v1/read"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}
def read_url(url: str, max_chars: int = 12000) -> str:
"""Return a web page as Markdown for a model, or a short reason it was not read."""
resp = requests.get(API, headers=HEADERS, params={"url": url, "max_chars": max_chars}, timeout=90)
data = resp.json()
if resp.status_code != 200:
err = data.get("error", {})
return "Not read (" + err.get("code", "error") + "): " + err.get("message", "")
head = "# " + (data.get("title") or url) + "\nSource: " + data["final_url"]
if data.get("published_at"):
head += " | Published: " + data["published_at"]
return head + "\n\n" + data["markdown"]
if __name__ == "__main__":
print(read_url("https://example.com/blog/pour-over-coffee", max_chars=2000)[:500])
Bir agent neyi okuyacağına nasıl karar vermeli?
Ona bir bütçe ve bir kural verin. Üç alışkanlık maliyetleri ve bağlamı denetim altında tutar:
- Az oku, iyi oku. Her soru için iki ila dört kaynak, alıntılarla yanıtlamaya genellikle yeter.
- Her sayfayı sınırla.
max_charsdeğerini yaklaşık 10.000 ila 15.000 karakterle başlatın; yalnızcaword_countyanıtın büyük olasılıkla daha aşağıda olduğunu gösterdiğinde artırın. - Redleri bildir. Bir sayfa okunmadığında model bunu söylesin ve yeniden denemek yerine başka bir kaynağa geçsin.
Yukarıdaki araç, redleri tek ve düz bir cümle olarak döndürür; böylece model bunları kullanıcıya açıklayabilir.
Bir agent'ı WebReaderAPI üzerinde çalıştırmanın maliyeti nedir?
Sayfa başına bir kredi, sayfa bir tarayıcı gerektirdiğinde iki kredi. Günde 100 soruyu yanıtlayan ve her biri için 4 sayfa okuyan bir asistan ayda yaklaşık 12.000 sayfa okur. Ekim 2026 itibarıyla 50.000 sayfa ($14,25) bunu dört ay karşılar.
Krediler hiç süresi dolmaz; bir hafta yoğun, ertesi hafta boşta olan bir agent aylık kotayı boşa harcamaz. Başarısız olan ya da robots.txt'nin izin vermediği sayfalar hiçbir ücrete tabi değildir.
Bir agent için hangi pack uygun?
10.000 sayfa ile prototip oluşturun; agent gerçek kullanıcılara hizmet vermeye başladığında 50.000 sayfa ya da 100.000 sayfa paketine geçin. Krediler hiç süresi dolmaz.
Başlangıç
50.000 sayfa
$14,25
$0,28/1K sayfa
- Bir AI agent veya RAG prototipi
- Bir dokümantasyon sitesini tarama (crawl)
- Krediler hiç sona ermez
Oluştur
100.000 sayfa
$21,75
$0,22/1K sayfa
- Üretim agent'ları ve RAG pipeline'ları
- Toplu ve tarama (crawl) işleri
- Krediler hiç sona ermez
Tüm planlarda: Ana içeriği çıkarma · Gerektiğinde JavaScript oluşturma · Başarısız ve reddedilen sayfalar ücretlendirilmez · Krediler hiç sona ermez
AI agent'lar: sık sorulan sorular
WebReaderAPI'yi Claude Desktop veya Cursor'a ekleyebilir miyim?
Evet, read_url aracını sunan küçük bir MCP sunucusu aracılığıyla. MCP sayfasında kod ve yapılandırma snippet'i var; API anahtarınız bir ortam değişkeninde kalır.
OpenClaw ile çalışır mı?
Evet, OpenClaw'un yerleşik web_fetch aracının yanında bir MCP sunucusu olarak. OpenClaw sayfası komutları OpenClaw'un kendi dokümantasyonundan gösteriyor.
Agent, AI bot'larını engelleyen sayfaları okuyabilir mi?
Hayır. robots.txt sayfaya izin vermiyorsa API blocked_by_robots döndürür; site reddederse sitenin durum koduyla birlikte target_refused döndürür. İkisi de ücretlendirilmez ve reddi aşmaya asla çalışmayız.
Uzun bir sayfanın bağlam penceresini doldurmasını nasıl durdururum?
max_chars değerini ayarlayın. Markdown bu uzunlukta kesilir ve word_count agent'a tam sayfanın ne kadar uzun olduğunu söyler; böylece agent daha fazlasını yalnızca gerektiğinde ister.
Karta veya kimliğe ihtiyacım var mı?
Hayır. WebReaderAPI kimlik, selfie, belge veya kart istemez. Ödeme BTC, USDT, USDC, ETH, SOL, LTC ile, minimum $25 bakiye yüklemesiyle yapılır.
Kaynaklar (3)
- Basın bülteni: AI crawler'lar varsayılan olarak engelleniyor — Cloudflare (2025-07-01)
- Blog: AI tarayıcıları ve agent'lar için yeni varsayılanlar — Cloudflare (2026-09-15)
- Web fetch aracı — OpenClaw (read 2026-10-22)