Web reader API sözlüğü

Web sayfalarının işaretleme dili. Ham HTML, istediğiniz metni etiketler, script'ler ve stil kodlarıyla karıştırır; bu yüzden bir dil modeli için kötü okunur.

Document Object Model: bir tarayıcının HTML'den oluşturduğu ve ardından JavaScript ile değiştirdiği öğeler ağacı. Oluşturulmuş sayfa ham HTML'den değil, DOM'dan okunur.

Bir sayfanın script'lerini tarayıcıda çalıştırarak ilk yanıttan sonra yüklenen içeriğin görünmesini sağlama. WebReaderAPI bunu gerektiğinde (render=auto) yapar; bir kredi yerine iki kredi karşılığında.

Ekran olmadan çalışan, yazılımla yönetilen gerçek bir tarayıcı motoru. JavaScript yoğun sayfalar sunucuda bu şekilde oluşturulur.

Bir sayfada okuyucunun geldiği bölümü, örneğin makaleyi veya dokümantasyonu bulup çevresindeki her şeyi dışarıda bırakma. API'mizde bu main_content=true, yani varsayılandır.

Hem bir metin niteliği hem de tarayıcılardaki okuma modları gibi, ana içeriği bulmak için sayfa bloklarını puanlayan iyi bilinen bir algoritma ailesinin adı.

Bir sitenin her sayfasında tekrarlanan metin: menüler, çerez bildirimleri, kenar çubukları, altbilgiler, paylaş düğmeleri. Bir web okuyucusunda işin büyük kısmı bunu kaldırmaktır.

# işaretinin bir başlığı, - işaretinin bir liste öğesini ve [text](url) işaretinin bir bağlantıyı belirttiği düz metin biçimi. Modeller bunu iyi okur ve HTML'den çok daha az token kullanır.

Bir sayfanın metni yerine onunla ilgili bilgiler: başlık, açıklama, yazar, yayın tarihi, dil. Sayfa bunları belirttiğinde WebReaderAPI bunları Markdown'ın yanında döndürür.

Bir PDF dosyasının metnini Markdown'a dönüştürme. 20 MB ve 100 sayfaya kadar PDF dosyaları, başlayan her 10 sayfalık blok için 1 kredi ile Markdown'a dönüştürülür.

Bir sitenin sayfalarını listelediği XML dosyası. Tarama (crawl) işi, dosya varsa ondan başlar; bu, sayfaları daha hızlı ve daha az istekle bulur.

İçeriği yalnızca abonelere gösteren engel. WebReaderAPI hiçbir zaman paywall'ın arkasını okumaz.

Bir amaç için web sayfalarını getiren program. Bizimki yalnızca müşterilerin istediği sayfaları getirir; bot sayfası bunu açıklar.

Bir istemcinin her istekte gönderdiği ad. Bizimki WebReaderAPI/1.0 (+https://webreaderapi.com/bot/), böylece site sahipleri her zaman kimin istediğini bilir.

Bir sitenin kökünde, crawler'lara hangi yolları getirebileceklerini söyleyen dosya; RFC 9309 olarak standartlaştırılmıştır. robots.txt'e uyarız: crawler'ımız kendini WebReaderAPI olarak tanıtır, kendisi için veya tüm robotlar için yazılmış kurallara uyar ve bir sitenin izin vermediği sayfayı okumaz. Reddedilen sayfalar için ücret alınmaz.

robots.txt içinde crawler'lardan istekler arasında belirli sayıda saniye beklemesini isteyen satır. Tarama (crawl) işlerimiz buna uyar.

Content-Signal: search=yes, ai-input=no gibi robots.txt satırları için, bir sitenin içeriğinin AI dahil nasıl kullanılabileceğini belirten politika.

Bir sayfanın AI yanıtına girdi olarak kullanılmasını kapsayan Content Signals ayarı. Bir site robots.txt'inde Content-Signal: ai-input=no bildirirse, sayfalarını sizin için okumayız.

Bazı sitelerin /llms.txt adresinde yayımladığı, dil modellerine içerikleri ve önemli sayfaları hakkında kısa bir rehber sunan Markdown dosyası.

Bir sitenin bağlantılarını ve site haritasını izleyerek o sitenin birçok sayfasını okuma. İş başına bir web sitesi tarama (crawl), 10.000 sayfaya kadar, sitemap'ini, robots.txt'ini ve Crawl-delay'ini izleyerek.

Tek istekte gönderilen ve arka planda işlenen URL listesi. Toplu iş başına 100 URL'ye kadar.

Bir sunucunun isteği reddetmek için gönderdiği durum. Bir site crawler'ımıza 403 yanıtı verdiğinde API target_refused döndürür ve hiçbir ücret almaz.

Çok fazla istek için döndürülen durum kodu. Bir siteden gelirse yavaşlamanız gerektiği anlamına gelir; bizim API'mizden (concurrency_limit) gelirse hesabınızın eşzamanlı okuma limitine ulaştığı anlamına gelir.

Yeniden denemeden önce her başarısız denemeden sonra daha uzun beklemek (örneğin 1, sonra 2, sonra 4 saniye), böylece yoğun bir sunucu istek yağmuruna tutulmaz.

Bir dil modelinin okuyup faturalandırıldığı birim; kabaca kısa bir kelime veya kelimenin bir parçası. Temiz Markdown, aynı sayfanın HTML hâline göre çok daha az token kullanır.

Bir modelin aynı anda alabileceği metin miktarı. max_chars parametresi her sayfayı belirlediğiniz bütçe içinde tutar.

Belge getirmeli üretim (retrieval-augmented generation): model, soru için getirilen belgelerden yanıt verir. Bir web okuyucu bu belgeleri canlı sayfalardan sağlar.

Uzun bir belgeyi dizinlemeden önce bölümlere ayırma. Markdown başlıkları doğal bölme noktaları sunar.

Bir bölümün anlamını temsil eden ve bir soruya benzeyen bölümleri bulmak için kullanılan sayı listesi.

Gömmeleri saklayan ve bir sorguya en yakın bölümleri döndüren veritabanı; bir RAG sisteminde parçalanmış web sayfalarının olağan yuvası.

Bir modelin, uygulamadan bir URL okumak gibi bir işlevi çalıştırmasını isteme ve sonucu kullanma yeteneği. Bkz. OpenAI function calling.

Model Context Protocol; araçları Claude Desktop veya Cursor gibi AI istemcilerine bağlamanın standart yolu. MCP sayfamız API üzerine kurulu bir fetch aracını gösteriyor.

API'nin kullanım birimi. 1 kredi = tarayıcı olmadan 1 sayfa okuma; sayfa JavaScript render etmek için tarayıcı gerektiriyorsa 2 kredi. Başarısız olan veya bir sitenin robots.txt'inin reddettiği istek için ücret alınmaz.

Hesabınızın aynı anda çalıştırabileceği okuma sayısı. Her hesabın aynı anda okuyabileceği sayfa sayısına bir limit vardır; paneliniz bunu gösterir ve destek ekibi bunu yükseltebilir.

Müşterini tanı (know your customer): bazı hizmetlerin gerektirdiği kimlik belgesi veya selfie gibi kimlik kontrolleri. WebReaderAPI hiçbirini istemez.

ABD doları gibi bir para birimini takip eden kripto para. Yükleme için USDT ve USDC kabul edilir; coinlerin tam listesi BTC, USDT, USDC, ETH, SOL, LTC.