Hızlı yanıt
WebReaderAPI bot nedir ve nasıl engellerim?
WebReaderAPI bot, müşterilerimizden biri API'den sayfaları okumasını istediğinde herkese açık sayfaları çeker. WebReaderAPI/1.0 (+https://webreaderapi.com/bot/) user agent'ını gönderir ve WebReaderAPI token'ı veya tüm botlar için yazılmış robots.txt kurallarına uyar. Her yerde engellemek için robots.txt dosyanıza User-agent: WebReaderAPI ardından Disallow: / ekleyin.
Bir bakışta bot
| User-Agent başlığı | WebReaderAPI/1.0 (+https://webreaderapi.com/bot/) |
|---|---|
| robots.txt token'ı | WebReaderAPI |
| robots.txt | robots.txt'e uyarız: crawler'ımız kendini WebReaderAPI olarak tanıtır, kendisi için veya tüm robotlar için yazılmış kurallara uyar ve bir sitenin izin vermediği sayfayı okumaz. Reddedilen sayfalar için ücret alınmaz |
| AI tercih sinyalleri | Bir site robots.txt'inde Content-Signal: ai-input=no bildirirse, sayfalarını sizin için okumayız |
| Bir site hayır dediğinde | Bir site isteğimizi reddederse, verdiği yanıtı döndürürüz: CAPTCHA'ları asla çözmeyiz, hesaplara giriş yapmayız veya bir engeli ya da ödeme duvarını aşmaya çalışmayız |
| Sayfalarınızın kopyaları | Yanıt müşteriye gönderildikten sonra hiçbiri saklanmaz |
| Tarama (crawl) işleri | İş başına bir web sitesi tarama (crawl), 10.000 sayfaya kadar, sitemap'ini, robots.txt'ini ve Crawl-delay'ini izleyerek |
| İletişim | [email protected] |
WebReaderAPI sayfamı neden çekti?
Çünkü API'nin bir müşterisi bunu istedi. WebReaderAPI web'in kendi dizinini oluşturmaz ve kendi inisiyatifiyle gezinmez. Her çekme, üç istek türünden birine aittir:
- Tek bir okuma: bir uygulama veya bir AI agent, URL'nizi
/readadresine gönderdi; genellikle bir kişi, sayfanızın yanıtladığı bir soru sorduğu için. - Bir toplu iş: bir müşteri en fazla 100 URL'den oluşan bir liste gönderdi ve sizinki de listedeydi.
- Bir tarama (crawl) işi: bir müşteri bizden bir adresten başlayıp o domain'de kalarak tüm bir siteyi okumamızı istedi. Taramalar sitemap'inizi ve robots.txt dosyanızı takip eder.
Müşteri, sayfanın ana metnini Markdown olarak alır. Sonrasında bizde hiçbir kopyası saklanmaz.
Botu tüm sitemde nasıl engellerim?
robots.txt dosyanıza token'ımız için bir grup ekleyin. Bot, bir sayfayı çekmeden önce /robots.txt dosyasını okur ve en fazla 24 saat önbelleğe alır, yani bir değişiklik en geç bir gün içinde uygulanır.
User-agent: WebReaderAPI
Disallow: /
Sitemin yalnızca bir bölümünü engelleyebilir veya botu yavaşlatabilir miyim?
Evet. Dışarıda tutmak istediğiniz klasörleri Disallow altında listeleyin ve tarama (crawl) işleri için saniye cinsinden bir Crawl-delay ayarlayın. Tüm botlar için yazılmış kurallar (User-agent: *), token'ımız için bir grubunuz olmadığında bizim için de geçerlidir. Bir grubunuz olduğunda ise RFC 9309'da açıklandığı gibi o grup geçerlidir.
User-agent: WebReaderAPI
Disallow: /account/
Disallow: /drafts/
Crawl-delay: 5
Bot, AI tercih sinyallerine uyuyor mu?
Evet, bir sitenin robots.txt dosyasında belirttiği sinyallere. Dosyanız Content-Signal: ai-input=no bildiriyorsa, bunu sayfalarınızın AI yanıtları için girdi olarak kullanılmasına ret olarak kabul ederiz ve sayfalarınızı müşterilerimiz için okumayız. API bu durumda müşteriye blocked_by_site_policy hatasını döner ve müşteriden ücret alınmaz.
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
Sitem botu reddettiğinde bot ne yapar?
Durur ve yanıtınızı bildirir. 403 veya 429 durumu, bir challenge sayfası, bir giriş formu veya bir paywall isteği sonlandırır. Müşteri, sizin durum kodunuzla birlikte target_refused hatasını alır ve bunun için ücret ödemez.
Bot asla challenge çözmez, asla giriş yapmaz, tarayıcı gibi görünmek için user agent'ını asla değiştirmez ve asla kılık değiştirerek yeniden denemez. Sayfalarınızı okumamızı istiyorsanız robots.txt dosyanızda token'a izin verin ve isteklerin geçmesine izin verin; istemiyorsanız sizin tarafınızda başka bir şey yapmanıza gerek yok.
WebReaderAPI henüz neyi taahhüt etmiyor?
Bugün bir IP adresi listesi yayımlamıyoruz, bu yüzden lütfen botu IP ile değil, user agent'ı ve robots.txt davranışıyla tanımlayın. country seçeneğiyle okunan sayfalar, seçilen ülkedeki bir adresten çıkar, yine aynı user agent ile. Adres aralıklarımız kesinleştiğinde, değişikliğin tarihiyle birlikte bu sayfaya ekleyeceğiz.
Botla ilgili bir sorunu nasıl bildiririm?
Tarih ve saat, domain'iniz, çekilen URL ve erişim logunuzdan user agent'ımızı gösteren bir satır ile birlikte [email protected] adresine yazın. Her raporu bir kişi okur ve loglarımızla karşılaştırarak kontrol eder. Bir müşteri API'yi Kabul Edilebilir Kullanım Politikamıza aykırı şekilde kullanırsa, hesabı askıya alınır.
Bir isteğin gerçekten bizden gelip gelmediğini kontrol etmek için user agent'ı ve robots.txt davranışını bu sayfayla karşılaştırın. Adımızı kullanırken robots.txt kurallarınızı yok sayan bir istemci bizim botumuz değildir.
Site sahiplerinin soruları
WebReaderAPI bot bir arama motoru tarayıcısı mı?
Hayır. Web'i dizinlemez veya sayfaları sıralamaz. Bir sayfayı yalnızca API'nin bir müşterisi o sayfayı istediğinde okur: tek bir istekte, bir toplu işte veya tek bir sitenin taranmasında.
Botu engellemek Google veya Bing sıralamalarımı etkiler mi?
Hayır. WebReaderAPI için yazılmış kurallar yalnızca bizim botumuzu ilgilendirir. Arama motoru tarayıcıları robots.txt dosyanızdaki kendi gruplarını takip eder.
Bir robots.txt değişikliği ne kadar sürede etkili olur?
En geç 24 saat içinde. Bot, robots.txt dosyasını yeniden okumadan önce en fazla bir gün önbelleğe alır.
Bot Crawl-delay'e uyuyor mu?
Evet, tek bir sitenin birçok sayfasını okuyan tarama işleri için. Tek bir okuma tek bir istektir ve aralarına bekleme süresi konmaz.
Sayfalarımın içeriğini saklıyor veya satıyor musunuz?
Hayır. Sayfa metni, onu isteyen müşteriye gider ve tarafımızca saklanmaz. Loglarımız 30 gün boyunca ana bilgisayar adını, zamanı, durumu ve kullanılan kredileri tutar.